Записная книжка Notebook — Jupyter

nb1

The Jupyter Notebook is an open-source web application that allows you to create and share documents that contain live code, equations, visualizations and explanatory text. Uses include: data cleaning and transformation, numerical simulation, statistical modeling, machine learning and much more

Jupyter Notebook — это веб-приложение с открытым исходным кодом, которое позволяет Вам создавать и обмениваться документами, которые содержат код, уравнения, визуализацию и пояснительный текст. Использование включает в себя: очистку и преобразование данных, численное моделирование, статистическое моделирование, машинное обучение и многое другое. Jupyter состоит из двух компонентов: веб-приложение, запускаемое в браузере, и ноутбуки – файлы, в которых можно работать с исходным кодом программы, запускать его, вводить и выводить данные.

Jupyter поддерживает множество языков программирования и может быть легко запущен на любом сервере, необходим только доступ по ssh или http. К тому же это свободное ПО.

Также есть у juper и свой собственный hub notebook, который можно развернуть как сервер и использовать для нескольких человек.

Устанавливается jupyter достаточно просто (через pip)

442

Запускается jputer c помощью команды

ipython notebook

456ee

В Notebook можно вызвать любую shell-команду. Это особенно удобно для управления виртуальной средой.

!pip install numpy
!pip list | grep Theano

Можно управлять переменными среды для вашего блокнота без перезапуска Jupyter-сервера. Некоторые библиотеки (такие, как theano) используют переменные среды, чтобы контролировать поведение, и %env — самый удобный способ.

#%env - without arguments lists environmental variables
%env OMP_NUM_THREADS=4

678

Подробно можно почитать http://jupyter.org/

Что может дать система управления процессами крупному бизнесу?

 Многие говорят о связи ИТ и стратегии компании, в чем механика этой связи, и как она работает?

bpb-header-fon-without-date

В рамках цикла теоретических вебинаров мы разберем существующие идеи и новые подходы организации бизнеса крупных предприятий. Мы ответим на актуальные вопросы применения ИТ для решения стратегических задач.

Теоретические вебинары объединят опыт нашей компании, накопленный в течение 8 лет работы с крупными заказчиками, действующими в различных отраслях.

https://www.elma-bpm.ru/landing/bpforbigones.html?utm_source=unisender&utm_medium=email&utm_campaign=11052017#reg

RapidMiner — платформа для анализа больших данных

К концу XXI века объем информации превысит 4,22 йоттабайт (или 4,22*1024 степени). А объем интернет-трафика перешел уже отметку в один зеттабайт и через пару лет составит несколько зетттабайт. Эту информацию необходимо обработать и представить в читаемый вид.

Но для этих задач необходимо нанять дорогостоящих специалистов, купить специализированное программное обеспечение. И тут на помощь могут прийти Open Source решения — их не так много, но есть очень достойное ПО, одним из которых которых является RapidMiner. RapidMiner (далее просто «майнер») — инструмент, созданный для дата майнинга, с основной идеей, что майнер (аналитик) не должен программировать при выполнении своей работы. При этом как известно, для майнинга нужны данные, поэтому его снабдили достаточно хорошим набором операторов решающих большой спектр задач получения и обработки информации из разнообразных источников (базы данных, файлы и т.п.), и можно с уверенностью говорить, что это ещё и полноценный инструмент для ETL ( Extract, Transform, Load).

Снимок

Снимок

RapidMiner — это мощная и многопользовательская платформа, она служит для создания, передачи и обслуживания наукоемких данных. Платформа RapidMiner предлагает больше функций, чем любое другое визуальное решение, плюс она открыта и расширяема для поддержки всех потребностей научных данных.

Унифицированная платформа RapidMiner ускоряет создание полных аналитических рабочих процессов — от подготовки данных до моделирования до развертывания бизнеса — в единой среде, значительно повышая эффективность и сокращая время, необходимое для проектов в области данных.

rapidminer-data-science-lifecycle-bk-transparent02

 

Профессиональная лицензия платная. В стандартной лицензии AGPL доступно 10,000 колонок и ограничение в один логический процесс.

  • Хороший GUI. По сути, каждый функциональный блок собран в кубик. Ничего нового в подходе, но очень крутое исполнение. Обычно разница между классическим программированием и визуальным сильно бьёт по функциональности. Например, в SPSS Modeler всего 50 узлов, а тут целых 250 в базовой загрузке.
  • Есть хорошие инструменты подготовки данных. Обычно предполагается, что данные готовятся где-то ещё, но тут уже есть готовый ETL (получение и трансформация). В том же коммерческом SPSS возможностей для подготовки куда меньше.
  • Расширяемость. Есть язык программирования R. Полностью интегрированы операторы система WEKA.
  • Дружит с Hadoop (отдельное платное расширение с незамысловатым названием Radoop), причём как с чистым, так и с коммерческими реализациями.
  • Архитектурно данные снаружи. Ставим платформу, грузим данные и начинаем смотреть, где какие кореляции, что можем спрогнозировать. Это и плюс, и минус, почему — ниже.
  • Кроме IDE есть ещё сервер. Rapid Miner Studio создаёт процессы, а на сервере их можно публиковать. Что-то типа Cron — сервер знает, какой процесс когда запускать, с какой частой, что делать, если где-то что-то отвалилось, кто отвечает за каждый из процессов, кому как отдавать ресурсы, куда выгружать результаты.
  • А ещё сервер же умеет сразу строить минимальные отчёты. Можно выгружать не в XLS, а рисовать графику прямо там. Это нравится маркетингу маленьких проектов.
  • Быстрое развитие. Только поднялся серьезный шум вокруг Apache Spark — через месяц интегрировали.

Если сравнивать RapidMiner c другими программами, то у RM гораздо шире функциональные возможности по обработке, банально больше узлов. С другой стороны, в IBM SPSS есть режимы «автопилота». Авто-модели (Auto Numeric, Auto Classifier) — перебирают несколько возможных моделей с разными параметрами, выбирают несколько лучших. Не сильно опытный аналитик может построить на таком адекватную модель. Она почти наверняка будет уступать в точности построенным опытным специалистом, но есть сам факт — можно построить модель ничего не понимая в этом. В RM есть аналог (Loop and Deliver Best), но он все же требует хотя бы выбрать модели и критерии выбора лучшего. Автоматическая предобработка данных (Auto Data Prep) — другая известная фишка SPSS — иначе и чуть более муторно реализована в RapidMiner. В SPSS сборка данных выполняется одним узлом Automated Data Preparation, галочками проставляется, что нужно сделать с данными. В RapidMiner — собирается из атомарных узлов в произвольной последовательности.

geWgz5oAYgQ

Снимок

Если сравнивать с SAS. По возможностям «сделать что угодно» RM выше, но, в конечном итоге, с помощью какой-то матери и некоторых усложнений можно получить тот же результат и в SAS. Но здесь совершенно другой подход — придётся переучиваться, если вы привыкли к SAS. Ещё SAS предоставляет множество вертикальных решений — банки, ритейл. Платформа разговаривает с пользователем на его бизнес-языке. RM более абстрактен, в нём придётся самому формулировать, что есть что.

Процесс в RapidMiner представляет собой набор операторов, соединенных последовательно между собой. Есть операторы, которые считывают данные из файла, есть операторы, которые производят фильтр по определенным признакам, есть операторы, которые записывают результат в файл, и многие другие.

Снимок

Оператор — это логическая единица, которая может производить какое-то действие над данными. Оператор имеет вход и выход. На входе поступают сырые данный, на выходе получаются обработанные данные. Все операторы доступны в левой колонке и отсортированы по функциональному признаку.

Снимок

Еще одна интересная особенность RapidMiner от IBM SPSS и SAS. В RapidMiner есть макросы — это параметры работы процесса, которые можно использовать в любой его точке (т.е они являются глобальными переменными). Например, в качестве макроса можно использовать имя файла, дату его создания, среднее значение какого-либо атрибута данных, наилучшую достигнутую точность, номер итерации, последнее время запуска процесса.

44

Место для хранения процессов RM. Может быть локальным, а также удаленным (RapidMiner Server), для которого возможно исполнять процессы на стороне сервера, многопользовательский доступ к процессам/соединениям БД, запуск процессов по расписанию или отдача данных как веб-сервис.

Снимок2

Кроме Макроса во вкладке контекст присутствуют параметры process input и process output.
process input- данных, подающиеся на вход. Может быть указан путь откуда вытаскивать данные.
process output. — данные, которые передаются к следующему процессу. Может быть указан путь для сохранения данных.

44

После создания процесса и его запуска можно построить графики разброса величин и многое другое.

1CnSZ0e1DjA

sebUgBdfFzI

Кроме скачивания дистрибутива программы с официального сайта https://my.rapidminer.com/nexus/account/index.html#downloads , также можно скачать git репозиторий и собрать проект с помощью apache ant.

git clone https://github.com/rapidminer/rapidminer-5.git
ant build
ant release.makePlatformIndependent

456

Вебинар «Моделирование корпоративной архитектуры. Человеко-машинные слои» ⏰13 апреля c 20:00 до 21:00

Вебинар «Моделирование корпоративной архитектуры. Человеко-машинные слои»
⏰13 апреля c 20:00 до 21:00

Юрий Веретельников расскажет для ИТ-специалистов о том, зачем нужна корпоративная архитектура и как её моделировать для слоёв, касающихся людей, программ и оборудования

Программа вебинара:
Обзор слоёв корпоративной архитектуры.
Краткий обзор языка Archimate.
Пример построения Archimate-модели:
▪требования к «людям»;
▪требования к «программам»;
▪требования к «оборудованию».
Типичные ошибки начинающих и как их избежать.
Использование перспектив.
Ответы на вопросы.

📍Регистрация:
https://sysanschool.timepad.ru/event/474581/

Коллеги, наслышаны про Slack?

xhDHkfgxc54

Коллеги, наслышаны про Slack?
Уверены, что да!
За пару лет своего существования мессенджер Slack стал самым быстрорастущим бизнес-приложением в истории и модной тенденцией, которую невозможно игнорировать.

🙌Сегодня мы запускаем первое Slack-сообщество для системных и бизнес-аналитиков! 🎉

💥Зачем нужно это сообщество?
SA&BA community — это площадка для:
▪обмена опытом;
▪разбора кейсов;
▪развития и разработки новых практик;
▪решения повседневных профессиональных проблем;
▪обсуждения работы в компаниях;
▪размещения и поиска вакансий для аналитиков.

✌Для регистрации в сообществе заполните анкету по ссылке и не забывайте делиться ссылкой со своими коллегами — чтобы сообщество росло, а общение было полезным и разноплановым. Ждем Ваших заявок!

http://bacommunity.ru/

lean production или концепция бережливого производства

poteri2

Производственный процесс современного предприятия представляет собой сложный механизм превращения полуфабрикатов, сырья, материалов и других предметов труда в готовую продукцию, которая удовлетворяет потребности общества. Главной задачей производственной системы при этом становится непрерывное совершенствование «потока создания ценности» для потребителя, в основе которого лежит рациональное сочетание во времени и в пространстве всех основных, вспомогательных и обслуживающих производств. Это позволяет выпускать продукцию при минимальных затратах труда и от этого зависят экономические показатели и результаты производственно — хозяйственной деятельности предприятия, в том числе себестоимость продукции, прибыль и рентабельность производства, величина незавершенного производства и размер оборотных средств.
Эффективность производства на предприятиях можно рассматривать с точки зрения длительностью производственного цикла. Чем длительнее этот процесс, тем больше оборудование в этой деятельности участвует и тем менее эффективнее предприятие. Неисправность оборудования на одном технологическом этапе может привести к сбоям в работе всего производства, вплоть до полной его остановки. Таким образом, особо важным для повышения эффективности и достижения наилучших результатов становится решении проблемы стабильного функционирования всей производственной системы.
Поэтому одним из путей решения данной проблемы является внедрение «Lean» технологии или технологии бережливого производства, которая призвана оптимизировать производственные процессы и позволяет улучшать качество продукции при неизменном сокращении издержек.

Экономическая сущность lean
Как экономическая дефиниция производство является системой преобразования сырья, полуфабрикатов и других предметов труда в готовую продукцию, обладающую для общества потребительской ценностью. Главная задача производства: непрерывное совершенствовании процесса создания ценности для потребителей путем рационального сочетания во времени и в пространстве всех основных, вспомогательных и обслуживающих оборудований производства. Таким образом, достигается экономия времени, материальных и трудовых ресурсов, уменьшается себестоимость продукции, возрастает рентабельность производства, улучшаются все экономические показатели хозяйственной деятельности предприятия.
Одна из главных целей системы lean — снижение издержек, управление производственным предприятием, основанное на постоянном стремлении к устранению всех видов потерь.
Первоначально эта система возникла в компании Toyota и получила название – Toyota Production System (TPS). Она ориентирована на рост в условиях постиндустриальной экономики, когда вместо массового производства, опирающегося на гарантированный спрос, возникла потребность в диверсифицированном производстве, способном удовлетворять индивидуальные запросы клиентов, оперирую малыми партиями разнообразных товаров, включая и штучную продукцию. Главной задачей такого производства стало создание конкурентоспособных продуктов в необходимом количестве, в кратчайшие сроки и с наименьшими затратами ресурсов.
Отвечающее новым требованиям производство назвали «бережливым» (lean, lean production, lean manufacturing), а предприятия, повысившие операционную эффективность своего производства, благодаря внедрению новой системы – «бережливыми» (lean enterprise).
В качестве основной задачи предполагается создание процесса непрерывного устранения потерь, то есть устранение любых действий, которые потребляют ресурсы, но не создают ценности (не являются важными) для конечного потребителя.
Тайити Оно (1912—1990), один из главных создателей производственной системы компании Toyota, выделил 7 видов потерь:
• потери из-за перепроизводства;
• потери времени из-за ожидания;
• потери при ненужной транспортировке;
• потери из-за лишних этапов обработки;
• потери из-за лишних запасов;
• потери из-за ненужных перемещений;
• потери из-за выпуска дефектной продукции.
Тайити Оно считал перепроизводство основным видом потерь, в результате которых возникают остальные. Джеффри Лайкер, исследователь производственной системы Toyota (наряду с Джеймсом Вумеком и Дэниелом Джонсом), в книге «Дао Тойота» добавил ещё один вид потерь:
• нереализованный творческий потенциал сотрудников.

Отличие «бережливых» предприятий
1. Основа производственной системы предприятий – люди. Они являются созидательной силой в процессе производства конкурентоспособной продукции, а технологии и оборудование – только средство достижения поставленных целей. Никакая теория, стратегия, технология не сделают предприятие успешным; этого добьются только люди на основе своего интеллектуального и творческого потенциала.
2. Производственные системы «бережливых» предприятий ориентированы на полное исключение потерь и постоянное совершенствование всех процессов. В повседневной работе по предотвращению всех возможных видов потерь и непрерывному совершенствованию участвуют все сотрудники компании от рабочих до высшего руководства.
3. Руководство предприятия принимает решения, учитывающие перспективу дальнейшего развития, при этом сиюминутные финансовые интересы не являются определяющими. Менеджмент таких компаний не занимается бесполезным администрированием – командованием, неоправданно жестким контролем, оценкой сотрудников при помощи сложных систем разнообразных показателей, он существует для разумной организации процесса производства, своевременного обнаружения, решения и предупреждения проблем. Умение видеть и решать проблемы на своем рабочем месте ценится в каждом сотруднике – от высшего руководства до рабочих.

Методы бережливого производства
Система 5S – управленческая методика, предназначенная для эффективной организации рабочего пространства. Название произошло от японских слов, начинающихся на S, которым и в русском языке можно подобрать начинающиеся на букву С аналоги, это:
1) Сортировка предметов и/или документации на рабочем месте по степени их необходимости и частоте применения с ликвидацией всего ненужного;
2) Систематизация, когда каждый предмет должен находится в определенном легкодоступном месте;
3) Соблюдение чистоты и порядка;
4) Стандартизация упорядоченного предыдущими процедурами рабочего места;
5) постоянное Совершенствование разработанного стандарта.

Эти несложные и, на первый взгляд, малозначительные процедуры, тем не менее, влияют на эффективность труда, исключают потери вещей и времени, снижают вероятность возникновения пожаров и прочих чрезвычайных ситуаций, а в целом создают благоприятный микроклимат на рабочем месте.
• Стандартизированная работа – чёткий и максимально визуализированный алгоритм выполнения какой-то определённой деятельности, включающий в себя стандарты продолжительности цикла операций, последовательности действий при выполнении этих операций, количества находящихся в работе материалов и предметов (уровень запасов).
• Методология «Прорыв к потоку» заключается в выравнивании и повышении эффективности производственного потока посредством создания фиксированных производственных циклов. В каждом из выделенных циклов внедряются рассмотренные в предыдущем пункте принципы стандартизированной работы.
• Концепция TPM (англ. Total Productive Maintenance) – система всеобщего обслуживания оборудования. Данная система подразумевает под собой совмещение эксплуатации оборудования с постоянным техническим уходом за ним. Благодаря постоянному мониторингу и содержанию оборудования в рабочем (исправном) состоянии производственным персоналом, снижается уровень потерь, вызванных поломками, простоем оборудования из-за ремонтных работ, в том числе и плановых, что позволяет обеспечить наивысшую эффективность на протяжении всего жизненного цикла оборудования. При этом освобождаются силы ремонтного персонала для решения более важных задач.
• Система SMED (англ. Single Minute Exchange of Die) – технология проведения быстрой переналадки оборудования. В процессе переналадки оборудования можно различить две группы операций – внешние, которые можно проводить без остановки оборудования, например, подготовка инструментов и материалов, и внутренние, для проведения которых необходим перерыв в работе оборудования. Суть системы заключается в переводе максимального количества внутренних операций в группу внешних, что становится возможным, благодаря внедрению ряда технологических и организационных усовершенствований.
• Система вытягивающего производства представляет собой подход к организации производственного потока, исключающий потери, связанные с перепроизводством или ожиданием завершения предыдущего этапа работ. Каждая технологическая операция как бы «вытягивает» необходимое количество продукции из предыдущей и передает следующей. В результате этого в процессе производства не возникает ни излишков продукции, ни её дефицита.
• Система подачи и рассмотрения предложений предоставляет всем сотрудникам понятный механизм реализации предложений по совершенствованию и предусматривает меры по стимулированию сотрудников к подаче таких предложений.
Комплексное использование Lean-инструментов позволяет без значительных инвестиций, практически только за счёт внутренних резервов компании добиться значительного роста производительности труда. По сути, Lean-концепция – это определённый подход ко всем вопросам организации производства, позволяющий не только реализовывать инновационные технологии, повышающие производительность труда и эффективность производства, но создать условия для формирования корпоративной культуры, базирующейся на всеобщем участии персонала в процессе непрерывного совершенствования деятельности компании.

Система организации производства («Канбан»)

Появление термина канбан связано с перечислением стандартных операций: мастера участков перечисляли выполняемые работы на бумаге и вывешивали их на видном месте рядом с такими же списками мастеров других участков.

Система канбан была разработана и впервые в мире реализована фирмой «Toyota». В 1959 году эта фирма начала эксперименты с системой канбан и в 1962 году запустила процесс перевода всего производства на этот принцип.

В основе организации производства фирмы «Toyota» лежит годовой план производства и сбыта автомобилей, на базе которого составляются месячные и оперативные планы среднесуточного выпуска на каждом участке, основанные на прогнозировании покупательского спроса (период упреждения — 1 и 3 месяца). Суточные графики производства составляются только для главного сборочного конвейера. Для цехов и участков, обслуживающих главный конвейер, графики производства не составляются (им устанавливаются лишь ориентировочные месячные объёмы производства).

Постоянное использование философии «точно в срок» позволяет раскрыть необнаруженные дефекты. Так как запасы продукции и деталей могут скрывать проблемы на производстве, то при их уменьшении ежедневный контроль выявит, к примеру, неисправности или простои.

Канбан (kanban, система канбан) — это метод управления бережливыми производственными линиями (японское слово, обозначающее «сигнал» или «карточка»), использующий информационные карточки для передачи заказа на изготовление с последующего процесса на предыдущий.

Инструмент вытягивающей системы, который дает указание на производство или изъятие (передачу) изделий с одного процесса на другой. Применяется в Производственной Системе Toyota для организации вытягивания путем информирования предыдущей производственной стадии о том, что надо начинать работу. Система канбан позволяет оптимизировать цепочку планирования производственных мощностей, начиная от прогноза спроса, планирования производственных заданий и балансировки/распределения этих заданий по производственным мощностям с оптимизацией их загрузки.

Является составной частью этой системы производства «точно-во-время» (Just-in-Time-Production, JIT), которая предполагает синхронную поставку необходимого в производстве материала: поступление непосредственно в производство на рабочее место к необходимому времени, в необходимом количестве, с предписанным качеством и в соответствующей потреблению упаковке. В качестве средства передачи информации используются бирки, карточки, тара, электронное сообщение карточки (по-японски «канбан»), которые перемещаются между потребителями и производителями по принципу супермаркета (см.схему 1).

Схема 1. Управление производством с помощью канбан по принципу супермаркета

Управление производством с помощью канбан

Цель метода – это реализация производства «точно-во-время» (JIT) на всех производственных линиях, чтобы обеспечивать снижение размеров материальных запасов на складах и несмотря на это гарантировать  высокую степень выполнения заказов в установленные сроки.

Точно в срок

Just In Time— наиболее распространенная в мире логистическая концепция. Основная идея концепции заключается в следующем: если производственное расписание задано, то можно так организовать движение материальных потоков, что все материалы, компоненты и полуфабрикаты будут поступать в необходимом количестве, в нужное место и точно к назначенному сроку для производства, сборки или реализации готовой продукции. При этом страховые запасы, замораживающие денежные средства фирмы, не нужны. Является также одним из основных принципов бережливого производства.

Система организации производства U-образные ячейки
Расположение оборудования в форме латинской буквы «U». В U-образной ячейке станки расставлены подковообразно, согласно последовательности операций. При таком расположении оборудования последняя стадия обработки проходит в непосредственной близости от начальной стадии, поэтому оператору не нужно далеко ходить, чтобы начать выполнение следующего производственного цикла.

В период высочайшей конкуренции и обостряющегося кризиса, у предприятий всего мира нет другого пути, чем, используя лучшие мировые технологии менеджмента, создавать продукты и услуги, максимально удовлетворяющие клиентов по качеству и цене.
Потери в любом производственном процессе – неизбежная проблема для многих предприятий, как производящих продукцию, так и оказывающих услуги. Потери – это состояние, которое, мягко говоря, не добавляет ценности продукту или услуге. Для того чтобы обнаруживать потери, сначала необходимо их распознавать. Можно выделить восемь видов потерь, из-за которых теряются до 85% ресурсов предприятия:
1. Потеря творческого потенциала. Когда к сотруднику относятся как к винтику в механизме, который можно в любой момент выкинуть или заменить другим, когда отношения сводятся к схеме «работайте руками и строго выполняйте указания начальника», интерес сотрудников к работе неуклонно падает. Эксперты считают, что такой порядок вещей устарел, он тянет компанию назад, что не замедлит сказаться на прибыли компании. В той же Японии в различных компаниях появляются «кружки качества», на которых любой имеет право высказать свои предложения по улучшению качества процессов. Аналитики считают, что в XXI веке успех будет у тех компаний, которые смогут создать у своего персонала ощущение вовлеченности в совершенствование производства.
2. Излишнее производство, выражающееся в том, что выпускается больше товара, чем требуется, либо раньше, чем требует заказчик. В результате те ресурсы, которые можно было потратить на улучшение качества, тратятся на увеличение количества.
3. Задержки. Когда рабочие простаивают в ожидании материалов, инструментов, оборудования, информации, это всегда следствие плохого планирования или недостаточно налаженных связей с поставщиками, непредвиденных колебаний спроса.
4. Ненужная транспортировка, когда материалы или продукция перемещаются чаще, чем это нужно для непрерывного технологического процесса. Важно доставлять всё необходимое своевременно и в нужное место, а для этого на предприятии должны быть реализованы хорошие схемы логистики.
5. Чрезмерные запасы, или хранение на складах большего числа продукции, чем продаётся, и большего числа материалов, чем необходимо для технологического процесса.
6. Излишняя обработка. Продукция должна выходить из производства настолько качественной, чтобы по возможности исключать её переделки и доработки, а контроль за качеством должен быть быстрым и эффективным.
7. Дефекты, которых нужно избегать всеми силами, потому что на улаживание претензий заказчиков уходят дополнительные средства: если необходимо исправить дефектное изделие, расходуются лишние время, силы и деньги.
8. Не налаженные передвижения, или неважно поставленный процесс доставки инструментов, материалов внутри самого предприятия, лишние передвижения сотрудников по помещениям.

Быстрая переналадка
Быстрая переналадка (SMED — Single Minute Exchange of Die) дословно переводится как «Смена штампа за 1 минуту». Концепция была разработана японским автором Сигео Синго и произвела революцию в подходах к переналадке и переоснастке. В результате внедрения системы SMED смена любого инструмента и переналадка могут быть произведены всего за несколько минут или даже секунд, «в одно касание» (концепция «OTED»— «One Touch Exchange of Dies»).
В результате многочисленных статистических исследований было установлено, что время на осуществление различных операций в процессе переналадки распределяется следующим образом:
• подготовка материалов, штампов, приспособлений и т.п. — 30%;
• закрепление и снятие штампов и инструментов — 5%;
• центрирование и размещение инструмента — 15%;
• пробная обработка и регулировка — 50%.
В результате были сформулированы следующие принципы, позволяющие сокращать время переналадки в десятки и даже сотни раз:
• разделение внутренних и внешних операций наладки,
• преобразование внутренних действий во внешние,
• применение функциональных зажимов или полное устранение крепежа,
• использование дополнительных приспособлений.

Метод предотвращения ошибок
Широко распространенным методом предотвращения ошибок, который используется в Lean-системах является приём Poka-yoke.
Poka-yoke – (poka – случайная, непреднамеренная ошибка; yokе –предотвращение ошибок), (англ. Zero defects – Принцип нулевой ошибки) – принцип, заключающийся в поисках причин возникновения ошибок и создании методик и технологий, исключающих саму возможность их появления. Если другими способами, кроме правильного, работу выполнить невозможно, а работа выполнена, значит, выполнена она без ошибок – такова основополагающая идея метода.
Различные дефекты в продукции могут возникать из-за забывчивости человека, невнимательности, непонимания, неосторожности и т.п. Такого рода ошибки естественны и неизбежны, под таким углом их и надо рассматривать для нахождения способов их предотвращения.
Методика предотвращения ошибок предусматривает:
• создание предпосылок для бездефектной работы,
• внедрение методов бездефектной работы,
• систематическое устранение возникших ошибок,
• принятие мер предосторожности и внедрение простых технических систем, позволяющих сотрудникам предотвратить совершение промаха.
Метод Poka-yoke, применяемый вместе с другими инструментами бережливого производства, служит гарантией того, что изготовленное изделие будет бездефектным, а процесс его производства, соответственно, протекает без сбоев.

В целом использование принципов Lean может дать значительные эффекты (в разах):
• рост производительности – в 3-10 раз;
• уменьшение простоев- в 5-20 раз;
• уменьшение длительности цикла изготовления – в 10-100 раз;
• уменьшение складских запасов – в 2-5 раз;
• уменьшение случаев брака – в 5-50 раз;
• ускорение выхода на рынок новых изделий – в 2-5 раз.
Лучшая зарубежная и российская практика внедрения инструментов бережливого производства дает такие результаты:
• Электронная промышленность: сокращение этапов производственного процесса с 31 до 9. Сокращение производственного цикла с 9 до 1 дня. Высвобождение 25% производственных площадей. Экономия около 2 млн. долларов за полгода.
• Авиапром: сокращение срока выполнения заказа с 16 месяцев до 16 недель.
• Автопром: рост качества на 40%
• Цветная металлургия: увеличение производительности на 35%.
• Капремонт крупнотоннажных судов: высвобождение 25% производственных площадей. Сокращение времени одной из основных операций с 12 до 2 часов. Экономия около 400 тыс. долларов за 15 дней.
• Сборка автомобильных узлов: высвобождение 20% производственных площадей. Отказ от строительства нового производственного здания. Экономия около 2,5 млн. долларов за неделю.
• Фармацевтическая промышленность: сокращение отходов с 6% до 1,2%. Снижение потребления электроэнергии на 56%. Экономия 200 тыс. долларов ежегодно.
• Производство потребительских товаров: увеличение производительности на 55%. Сокращение производственного цикла на 25%. Сокращение запасов на 35%. Экономия около 135 тыс. долларов за неделю.

Сегодня на российском рынке ощущается дефицит профессионалов, имеющих опыт оптимизации производственных процессов путем внедрения технологии «бережливого производства». Lean рассматривает любое производство с точки зрения оптимизации процессов силами всех работников компании. В этой глобальности подхода скрывается основная сложность методики «бережливого производства», так как специалист в данной сфере должен совмещать в себе навыки педагога и руководителя, прогнозиста и аналитика.

По данным исследования Института комплексных стратегических исследований (ИКСИ) о распространении бережливого производства в России в марте-апреле 2006 года из 735 опрошенных российских промышленных предприятий 32 % использовали японский опыт. В марте-апреле 2008 года был проведён повторный опрос. Применение Lean Manufacturing на промышленных предприятиях России в 2006—2008 гг.» на III Российском Лин-форуме «Бережливая Россия». Предприятия, которые первыми начали применять методы бережливого производства: Горьковский автомобильный завод (Группа «ГАЗ»), РУСАЛ, ЕвразХолдинг, Еврохим, ВСМПО-АВИСМА, ОАО «КУМЗ», Челябинский кузнечно-прессовый завод (ОАО «ЧКПЗ»), ОАО «Соллерс» («УАЗ», «ЗМЗ»), КАМАЗ, НефАЗ, Сбербанк России ОАО и др.

«Торговый терминал «Trader» . Функциональное задание

Оглавление
Словарь

1.Термины и определения
1.2 Сокращения
2.Назначение и цель проекта
3. Содержание проекта
3.1 В рамки проекта входит
3.2 В рамки проекта не входит
4 Описание Функциональных блоков (Задач) проекта
4.1 Функциональный блок регистрации трейдера в ТТ
4.2 Функциональный блок личного кабинета
4.3 Функциональный блок анализа котировок
4.4 Функциональный блок трансляций новостных блоков и блоков аналитики
5 Тестовые сценарии
5.1 Сценарий тестирования регистрации трейдера в ТТ
5.2 Сценарий тестирования личного кабинета
5.3 Сценарий тестирования анализа котировок
5.4 Сценарий тестирования трансляций новостных блоков и блоков аналитики
6 Не функциональные требования
6.1 Требования к доступности, надежности и производительности программного обеспечения
6.2 Требования к внешнему программному обеспечению
6.3 Требования к организационному обеспечению
6.4 Требования к аппаратному обеспечению
38

1 Словарь
1.1 Термины и определения
Термин Определение
Торговый терминал Программный комплекс, с помощью которого брокерская компания предоставляет трейдеру доступ на рынок
Трейдер Участник рынка, осуществляющий свою торговую деятельность с использованием технических средств, представляемых ему брокерской компанией
Биржевая сделка Зарегистрированный биржей договор (соглашение), заключаемый участниками биржевой торговли в отношении биржевого товара в ходе биржевых торгов. Порядок регистрации и оформления биржевых сделок устанавливается биржей.
Отложенная заявка (ордер) Это заявка, которая будет исполнена в будущем, при достижении цены того значения, которое было указано в ордере.
Ордер Это заявка (приказ), которую трейдер (или инвестор) отдает своему брокеру для проведения какой-либо операции на рынке
Торговый счет Место, предназначенное для хранения денежных средств трейдера, с которого производятся торговые операции
Личный кабинет Это персональный аккаунт пользователя, в который он может зайти после регистрации в торговом терминале
Котировка Установление рыночных курсов иностранных валют, ценных бумаг или цен товаров на биржах.
Демо (демонстративный) счет Демо (демонстративный) счет представляет собой виртуальный счет, полностью аналогичный по функционалу с реальным аккаунтом. Отличие от настоящего счета – возможность выполнять торговые сделки, не вкладывая личных денег, а используя виртуальную валюту

1.2 Сокращения
ТТ – Торговый терминал
ЛК — Личный кабинет
ТС – Торговый счет
ДС — Демо (демонстративный) счет
2 Назначение и цель проекта
Цель проекта:
1) Автоматизация доступа трейдера к фондовому, срочному, валютному, товарному рынку
2) Анализ текущего состояния рыночных цен на имеющиеся активы
3) Возможность трейдеру сделать ордер или отложенную заявку
Бизнес результаты:
1) Снижение затрат на обработку заявок от трейдеров
2) Повышение оперативности доступа трейдера к текущему состоянию рыночных цен
3) Автоматизированный доступ к фондовому, срочному, валютному и товарному рынку

По итогам опытной эксплуатации ТТ, он должен продемонстрировать следующие показатели:
1. Средние затраты сотрудников отдела «по работе с клиентами» на обработку одного заказа не превышают 10 минут.
2. Срок обработки ордера не более 2 минут.
3. Время отклика ТТ не более 3мс
4. Время предоставления информации о сделанных заказах и истории их обработки не более 2 мин.
5. Система хранит всю информацию о сделанных заказах и истории их обработки.
6. Показатель доступности ТТ 98%.

66

  1. VAD диаграмма to be

3 Содержание проекта
3.1 В рамки проекта входит

Функционал авторизации
1. Функционал для регистрации трейдера в ТТ
2. Функционал ЛК (доступ к текущем рыночным ценам на имеющиеся активы, доступ к архиву котировок)
Функционал для анализа котировок
1. Функционал для осуществления анализа текущего состояния рынка (индикаторы и советники для анализа)
2. Функционал для трансляции в терминал новостных блоков и блоков аналитики

3.2 В рамки проекта не входит
1. Функционал по работе менеджера с клиентом
4 Описание Функциональных блоков (Задач) проекта
4.1 Функциональный блок «Регистрация трейдера в торговом терминале»
Описание функции: данный функционал позволяет трейдеру произвести авторизацию в ТК
Приоритет реализации функции: абсолютно необходимо реализовать
Требования: новому трейдеру для регистрации в ТК необходимо указать имя, фамилию, логин, пароль, контактный телефон, адрес почты. После успешного заполнение полей, новому трейдеру на его адрес электронный почты будет отправлено сообщение с успешной регистрацией в ТК «Trader». В базе данных создает таблица «users» с кодировкой utf – 8, которая будет иметь столбцы: id – первичный ключ и AUTO_INCREMENT для автоматической генерации уникального id пользователя, name — имя, surname — фамилия, login — логин, password — пароль, telephone — телефон, email — почта). Типы данных столбцов: Id – числовой; name, surname, login, password, email – текстовые (varchar с длинной 45 символов), telephone – числовой с длинной 12 символов. При новой регистрации нового пользователя – создается новая запись в таблице «users».

Запись в базу данных осуществляется так
INSERT INTO `database`.`users` (`name`, `surname`, `login`, `password`, `telephone`, `email`) VALUES ( ‘andrey’, ‘vakurin’, ‘andvak’, ‘12345678’, ‘132234324’, ‘sf@yandex.ru’);

Таблица «users»:
CREATE TABLE `database`.`users` (
`id` INT NOT NULL AUTO_INCREMENT,
`name` VARCHAR(45) NOT NULL,
`surname` VARCHAR(45) NOT NULL,
`login` VARCHAR(45) NOT NULL,
`password` VARCHAR(45) NOT NULL,
`telephone` INT(12) NOT NULL,
`email` VARCHAR(45) NOT NULL,
PRIMARY KEY (`login`));

Требования к вводу и выводу данных:
Ручной ввод с клавиатуры имени, фамилии, логина, пароля, телефона, email.

1233.Примерный вид экранной формы ввода данных

234.Примерный вид хранения записей в базе данных

4.2 Функциональный блок личного кабинета
Описание функции: данный функционал позволяется трейдеру вводить средства, выводить средства, смотреть котировки, смотреть новости, обмениваться сообщениями со службой технической поддержки, смотреть графики валютного, срочного, товарного, фондового рынка
Приоритет реализации функции: абсолютно необходимо реализовать
Требования: для входа в личный кабинет трейдер должен использовать логин и пароль указанный при регистрации. Если пользователь забыл логин или пароль, то в ТТ должен быть предусмотрен раздел восстановления логина или пароля.
33 5.Форма авторизации пользователя
Требования к вводу и выводу данных:
Ручной ввод с клавиатуры логина и пароля
Проверка полей на соответствие значений в базе данных. При некорректном вводе значений предлагается либо восстановить доступ в ЛК или повторить ввод.

У нас имеются 2 переменные $login и $password, которые проверяются в таблице users
На языке PHP код выглядит так:

If (
isset($_POST[‘login’]) &&
isset($_POST[‘password’]))
)
{
$login = get_post(‘login’);
$password = get_post(‘password’)
}
…………



38
6. Личный кабинет
 

4.3 Функциональный блок анализа котировок
Описание функции: данный функционал позволяется трейдеру производить фундаментальный анализ котировок, создавать ордер или отложенную заявку.
Приоритет реализации функции: абсолютно необходимо реализовать
Требования: после авторизации трейдера в ЛК ему необходимо пополнить свой баланс или попробовать демонстрационный режим с ДС. После выбора режима в таблице «account» (с кодировкой utf – 8) создается новая запись id, login, personal account. Создается таблица «market» с идентификатором рынка (market_fond – фондовый рынок, market_val – валютный рынок, market_sroch – срочный рынок, market_tovar – товарный рынок). При создании ордера создается новая запись в таблице order cо следующими данными name, surname, login, account, market, data.

Создание таблицы «account»
CREATE TABLE `database`.`account` (
`id` INT NOT NULL AUTO_INCREMENT,
`login` VARCHAR(45) NOT NULL,
`Personal account` INT(45) NOT NULL,
PRIMARY KEY (`login`));

Создание таблицы «account»
CREATE TABLE `database`.`account` (
`id` INT NOT NULL AUTO_INCREMENT,
`login` VARCHAR(45) NOT NULL,
`Personal account` INT(45) NOT NULL,
PRIMARY KEY (`login`));

Создание таблицы «market_fond»
Date – тип date, остальные с значением FLOAT
Date
SPREAD
HIGH
LOW
OPEN
LAST
LASTCNGTOLASTWAPRICE
VALTODAY
VOLTODAY:
VALTODAY_USD
WAPRICE
WAPTOPREVWAPRICE
CLOSEPRICE
NUMTRADES

 

547. Пример отображения параметров.

Большую часть значений можно вытянуть с помощью API micex.api, который написан на node

Столбцы двух таблиц «users» и «account» должны быть связаны

users.login = account.login

Столбцы двух таблиц «order» и «market_fond» должны быть связаны

Order.account. = market_fond.date

896. Функционал анализа котировок

4.4 Функциональный блок трансляция новостных блоков и аналитики
Описание функции: данный функционал позволяется трейдеру просматривать блог новостей, следить за последними трендами на рынке
Приоритет реализации функции: абсолютно необходимо реализовать
Требования: после авторизации трейдеру необходимо перейти в блог новостей

5 Тестовые сценарии
5.1 Сценарий тестирования регистрации трейдера в торговом терминале

Проверка полей на соответствие значений происходит после нажатия на кнопку регистрации. В полях имя, фамилия – проверяется корректность написания слов (спец символы — недопустимы), в поле логин – проверяется уникальность логина с логинами, которые уже существуют в базе и логин должен быть написан на английском языке, в поле телефон допустимо введение только числовой информации, в поле email допускается написание слов, которое содержит в себе знак «@», пароль должен состоять минимум из 8 символов.

237.Данные корректны

5.2 Сценарий тестирования личного кабинета
Проверка полей на соответствие значений происходит после нажатия на кнопку войти в личном кабинете. В полях логин и пароль – проверяется правильность написания слов со значением в базе данных «users»
45

8. Ошибка ввода данных.

5.3 Сценарий тестирования анализа котировок

Проверка работоспособности рынков: валютного, срочного, товарного, фондового.
Обновление графика должно происходить раз в 5 минут.
После авторизации трейдера в ЛК ему необходимо пополнить свой баланс или попробовать демонстрационный режим с ДС.
Если трейдер не пополнил баланс – то он автоматически работает в ТТ с ДС.
Если трейдер пополнил счет – то в таблице account ему присваивается номер счета
5.4 Сценарий тестирования трансляции новостных блоков и блоков аналитики
В нижней левой части ТТ должен отображаться блог новостей. Если он не отображается или дата не соответствует текущей, то проблема с базой данных.

6 Нефункциональные требования
6.1 Требования к доступности, надежности и производительности программного обеспечения
ТТ предназначена для постоянной, ежедневной работы трейдеров. Трейдеры работают в диалоговом режиме в реальном масштабе времени (on-line) с базой данных ТТ, функционирующей на сервере базы данных. Сервер базы данных ТТ должен работать в непрерывном круглосуточном режиме, кроме периодов проведения регламентных работ по копированию данных системы, проведения регламентных ремонтных или восстановительных работ. Время наработки на отказ процессоров и оперативной памяти ЭВМ не должно быть меньше 10000 часов; Вероятность потери сообщения при передаче данных в локальных сетях не должна превышать 10*(-6). Система рассчитана на работу с 1000 одновременных подключений и до 5000 одновременных сделок и транзакций. Требования к отказоустойчивости: репликация баз данных, сервера БД должны быть связаны по VPN и находится в разных местах.
6.2 Требования к внешнему программному обеспечению
ТТ должно работать в любой операционной системе (Windows не ниже Vista, Linux, Mac ). ТТ запускается в веб браузере (chrome, firefox , internet explorer не ниже 8).
6.3 Требования к организационному обеспечению
Сервера база данных и сервера веб сервера должны располагать в отдельном кондиционированном помещении (желательно в data центре с пропускной способностью канала не ниже 2000мбит/c – оптико-волоконный канал).
6.4 Требования к аппаратному обеспечению
Наличие системного блока на базе процессора Intel core i3 – не ниже, наличие одного дисплея, наличии одной мышки и клавиатуры.

Курсы по искусственному интеллекту и машинному обучению. Март 2017

i

Искусственный интеллект и машинное обучение — одни из самых актуальных тем этого года в IT. Наиболее передовые технологии уже вышли за пределы традиционных алгоритмов на базе правил, позволяя создавать системы, которые могут понимать, учиться, прогнозировать, адаптироваться, и потенциально способны функционировать автономно. itmentor.by сделал подборку мартовских курсов по указанным направлениям.

Intro to Artificial Intelligence, Стэнфордский университет / Udacity

CS 8802, Artificial Intelligence for Robotics: Programming a Robotic Car, Стэнфордский университет / Udacity

Artificial Intelligence for Robotics, Стэнфордский университет / Udacity

Machine Learning, Стэнфордский университет / Coursera

Deep Learning, Google / Udacity

Learning from Data (Introductory Machine Learning course), Калифорнийский технологический институт

Machine Learning: Unsupervised Learning, Брауновский университет / Udacity

Machine Learning for Data Science and Analytics, Колумбийский университет / edX

Data, Analytics and Learning, Техасский университет в Арлингтоне / edX

Intro to Machine Learning, Стэнфордский университет / Udacity

6.S191: Introduction to Deep Learning, Массачусетский технологический институт (MIT)

Principles of Machine Learning, Microsoft / edX

Applied Machine Learning, Microsoft / edX

Machine Learning for Data Analysis, Уэслианский университет / Coursera

Neural Networks for Machine Learning, Торонтский университет / Coursera

Machine Learning 1 — Supervised Learning, Брауновский университет / Udacity

Deep Learning for Natural Language Processing, Оксфордский университет

Reinforcement Learning, Брауновский университет / Udacity

Machine Learning, Брауновский университет / Udacity

6.S094: Deep Learning for Self-Driving Cars, Массачусетский технологический институт (MIT)

Machine Learning for Trading, Технологический институт Джорджии / Udacity

Machine Learning, Технологический институт Джорджии / Udacity.

Виртуальная машина sprintbox.ru

Недавно питерская компания sprinthost.ru запустила услугу по предоставлению быстрых виртуальные машины. Виртуальный сервер на SSD за 30 секунд.

1234

Доступ к машине осуществляется с помощью VNC. Virtual Network Computing (VNC) — удалённый доступ к рабочему столу компьютера, использующий протокол RFB (Remote FrameBuffer, удалённый кадровый буфер). Для это можно использовать программу UltraVNC.

«Под капотом» у виртуальных машин на спринт хосте debian 8 jessie 64 битная, полный root доступ, одно ядро, 2 гига, 32 гига жесткого ssd диска.

123

 

2345На всякий случай проверим какие у нас порты видны снаружи после установки бокса. Команда ping работает на протоколе ICMP, который находиться на сетевом уровне OSI, поэтому воспользуемся программой nmap, которая просканирует TCP порты (TCP транспортный уровень).

123456Поставить гипервизор XenServer не удалось, но сконфигурировать nginx, ssh — удалось. Переустановить операционную систему можно в один клик, выбрав Debian, Ubuntu, Fedora, FreeBSD или CentOS в панели управления хостинга. Поддержка http://sprintbox.ru/ на связи 24/7.

Методы Big Data

i

К концу XXI века объем информации превысит 4,22 йоттабайт (или 4,22*1024 степени). А объем интернет-трафика перешел уже отметку в один зеттабайт и через пару лет составит несколько зетттабайт.

Если количество данных возрастает в геометрической прогрессии, то количество выдаваемых пользователю данных пропорционально уменьшается. Большинство современных российских учреждений работают с объемом не более 100 терабайт, и только 13% из них апеллируют объемами информации выше 500 терабайт.

Сейчас методами Big Data обрабатывается чуть меньше 3% из 23% от всей полезной информации мира. К ним относят анализ с помощью искусственных нейронных сетей, data meaning, машинное обучение (machine learning), пространственный анализ, аналитика прогнозов, моделирование, интеграция данных из различных источников и т.д.

В качестве базового принципа обработки данных указывается горизонтальная масштабируемость, когда данные распределяются на сотни и тысячи вычислительных узлов. Применяются средства NoSQL, MapReduce, Hadoop, язык программирования R для статической обработки данных и работы с ними, Business Intelligence – обработка информации в осмысленную форму и ряд других аппаратных решений.

Сегодня один из самых интересных методов анализа данных является искусственная нейронная сеть. Она организуется по принципу нейронных клеток живого организма. Иерархическая сеть нейронов объединяет работу нейронов высокого уровня с нейронами низкого порядка. Каждый нейрон получает информацию, производит над ней простые вычисления и передает ее дальше. Сигналы или значения, которые передаются на уровень выше усиливаются или изменяются в зависимости от весов, которые приписываются межнейронным связям. После завершения одной эпохи вычисляется единственная усредненная оценка и сеть модифицируется в соответствии с этой ошибкой. Для примера мы можем использовать такие нейросетевые системы, как NeuroShell (Ward Systems Group), BrainMaker (CSS) и OWL (HyperLogic). В них пользователь может задать данные в числовом, символьном виде и в виде изображения.

Другой интересный метод — Data Mining. Это процесс, который обнаруживает неизвестные знания в сырых и необработанных данных. С помощь этого метода разрабатываются программные обеспечения для постановки медицинских диагнозов, обнаружение закономерностей в молекулярной генетике и генной инженерии (такие коды могут содержать сотни, тысячи и более связанных элементов), методы Data Mining находят широкое применение в прикладной химии (неорганической и органической). Можно привести еще много примеров различных областей знания, где методы Data Mining играют ведущую роль. Особенность этих областей заключается в их сложной системной организации. Данные в указанных областях неоднородны, гетерогенны, нестационарны и часто отличаются высокой размерностью. Примеры программ c методом data meaning: rapid miner, weka, knime, NLTK – это программы с открытым исходным кодом и распространяются с помощью лицензий AGPL или GNU.

В денежном выражение в России в 2017 году ожидаются расходы на анализ больших данных в районе 1,1 млрд $ США (по показателям 2016 года это на 0,3 млрд $ США больше). Среди компаний, которые используют технологии Big data: телекоммуникационные компании, ритейл, банки, госсектор, нефтяные компании, энергетические компании. Для этих компаний важно поведение пользователей-клиентов, ведение отчетности, мониторинг работ, создание интеллектуальных систем, мониторинг этих систем и их прогнозирование. С каждым годом количество компаний, использующих технологии и методы Big data увеличиваются. Активно внедряется анализ данных в медицине, молекулярной генетике и генной инженерии, прикладной химии. Большинство специалистов считают «Большие Данные» необходимыми для развития конкурентоспособной стратегии продвижения компании. По статистике Hadoop, после внедрения технологии Больших Данных прибыль в торговых организациях вырастает на 7-10%. Специалисты М.Видео говорят об улучшении логистического планирования после внедрения SAP HANA, также, в результате ее внедрения, подготовка годовой отчетности сократилась с 10 дней до 3, скорость ежедневной загрузки данных сократилась с 3 часов до 30 минут.

 

Тезис опубликован http://www.mai.ru/science/gagarin/