четверг, 17 июля 2014 г.

Admin. Обзор облачных хранилищ - Overview of Cloud Storage

Облачные хранилища данных

Если вам  надоело бегать между работой и домом с флешкой, носить постоянно ноутбук  с нужными файлами, и вы хотите, чтобы ваши важные файлы были доступны вам или вашей команде на любом компьютере или мобильном устройстве, то вам на помощь могут прийти облачные хранилища данных.
Облачное хранилище данных — модель онлайн-хранилища, в котором данные хранятся на многочисленных, распределённых в сети серверах, предоставляемых в пользование клиентам, в основном третьей стороной. В противовес модели хранения данных на собственных, выделенных серверах, приобретаемых или арендуемых специально для подобных целей, количество или какая-либо внутренняя структура серверов клиенту, в общем случае, не видна. Данные хранятся, а равно и обрабатываются, в так называемом облаке, которое представляет собой, с точки зрения клиента, один большой, виртуальный сервер. Облачные хранилища данных.
ТопОбзор предлагает вашему вниманию обзор 10+  бесплатных  сервисов облачных хранилищ данных. Кроме того, рекомендуем вам посмотреть нашу  материал:  Инфографика. ТОП-14: сравнение облачных хранилищ данных

1. Dropbox

облачные хранилищаDropbox — облачное хранилище данных, позволяющее пользователям хранить свои данные на серверах в облаке и разделять их с другими пользователями в интернете. Его работа построена на синхронизации данных.
Dropbox предоставляет три тарифных плана, в том числе и бесплатный.
  • Basic — 2 Гб — бесплатно (можно увеличить до 48 Гбайт);
  • +100 Гбайт — $9.99 в месяц или $99/год ;
  •  +200 Гбайт — $19.99 в месяц или $199/год ;
  • +500 Гбайт — $49.99 в месяц или $499/год ;
  • до 1Тбайта для бизнеса — от $795/год ;
Может показаться,  что 2 Гбайта дискового пространства маловато, у Dropbox есть целый ряд БЕСПЛАТНЫХ способов, помимо платных,  легко увеличить это пространство с 2 Гбайт до 48  Гбайт:
  • +500 Мбайт за приглашенного друга (до 16 Гбайт);
  • чтобы получить 48 Гбайт бесплатного дискового пространства, нужно выполнить 7 шагов:
    • просмотреть обзор о Dropbox;
    • установить программу Dropbox на свой компьютер;
    • положить файлы в папку Dropbox;
    • установить Dropbox на другие компьютеры, которые вы используете;
    • предоставить общий доступ друзьям и колегам;
    • пригласите своих друзей в Dropbox;
    • установите программу Dropbox на ваше мобильное устройство;
Но! и это еще не все! Dropbox активно сотрудничает с разнообразными брендами и сайтами, с помощью которых можно получить еще дополнительное бесплатное пространство.
Например:
  • Владельцы телефонов HTC Sense 3.5 и 3.6 могут получить до 3 ГБ на один год.
  • Владельцы телефонов HTC Sense 4.0 и Sense 4+ могут получить до 23 ГБ на два года.
Приложение Dropbox можно скачать и инсталлировать на PC, Mac, Linux или мобильное устройство. Одно из главных преимуществ Dropbox — легкость и интуитивность в использовании — нужно просто закачать файлы в папку Dropbox, расшарить её, если хотите, или синхронизировать с нужным устройством. В отличие от основных конкурентов, при работе с Dropbox редактированные файлы не копируются полностью на сервер — осуществляется передача только измененной части, предварительно сжатой. Считается, что именно этот факт во многом объясняет известную оперативность работы с Dropbox, по сравнению с аналогами.
Dropbox позволяет пользователю размещать файлы на удаленных серверах при помощи клиента или с использованием веб-интерфейса через браузер. Хотя главный акцент технологии делается на синхронизации и обмене информацией, Dropbox ведёт историю загрузок, чтобы после удаления файлов с сервера была возможность восстановить данные. Также ведётся история изменения файлов, которая доступна на период последних 30 дней, кроме этого доступна функция бессрочной истории изменения файлов «Pack-Rat».
Главным недостатком Dropbox можно считать подход к выбору папок для синхронизации. Фактически приложение следит за содержимым только одной папки — Dropbox.
Читайте также нашу статью 6+ способов как бесплатно увеличить дисковое пространство на Dropbox.
Сайт Dropbox: http://www.dropbox.com

2. Google Drive

облачные хранилища данных
Google Drive — бесплатное облачное хранилище данных,  позволяющее пользователям хранить свои данные на серверах в облаке и делиться ими с другими пользователями в интернете. После активации заменяет собой Google Docs.  По сути, взяли Google Docs для работы с документами, трансформировали его в облачный сервис и добавили 5 ГБ бесплатного пространства. В новом сервисе можно хранить не только документы, но и фотографии, музыку, видео и многие другие файлы – всего 30 типов. Но вообще все очень удобно и привычно для пользователей Google-сервисов.
Каждому пользователю Google Drive предоставляется бесплатно 15Gb пространства (данным предложением Google превосходит стандартные условия Dropbox, но проигрывает Яндекс.Диску). Если выделенного объёма недостаточно, можно приобрести дополнительно  до 16 ТБ:
Объем Месячная плата
100 GB $4.99
200 GB $9.99
400 GB $19.99
1 TB $49.99
2 TB $99.99
4 TB $199.99
8 TB $399.99
16 TB $799.99
Кроме доступа к сервису через веб-интерфейс, есть возможность доступа через клиенты для Windows, Mac OS и Android, iOS.
Сайт Google Drive:  https://drive.google.com

3. Mega

облачные хранилища данныхMega — (MEGA Encrypted Global Access) — амбициозный новичек, облачный файлообменник Ким Доткома (Kim Dotcom), основателя легендарного Megaupload.
Фишка Mega:  шифрует весь контент прямо в браузере с помощью алгоритма AES; пользователи могут передавать друг другу файлы в зашифрованном виде, при этом все данные хранятся в «облаке»; ключи доступа к файлам не публикуются в открытом доступе, а распространяются по схеме Friend-to-Friend, между доверяющими друг другу пользователями.
Примечательно то, что Mega сразу стартовал с бесплатными 50 Гбайтами (!), кроме того, есть возможность значительно расшириться в платных пакетах:
  • Pro I — 500 Гбайт, $9.99/мес ;
  • Pro II — 2 ТГбайта, $19.99/мес ;
  • Pro III- 4 Тбайта в, $29.99/мес ;
По предоставляемому дисковому пространству и по его стоимости, Mega, несомненно можно назвать одним из самых выгодных облачных сервисов, кроме того, важное отличие Mega от других подобных сервисов — конфиденциальность, ведь Mega позиционируется как сервис, который защищает личные данные пользователя.  Однако, есть пока и недоработки, в частности, Mega пока проигрывает другим флагманам облачных хранилищ данных в синхронизации с разными устройствами.  Но, несмотря на это, у Mega явно большое будущее :-)
На данный момент действует акция: если купить платный пакет на год, то 2 месяца бесплатно.
Сайт Mega:  https://mega.co.nz

4. Яндекс.Диск

облачные хранилища данных
Яндекс.Диск — бесплатный облачный сервис от Яндекса,  позволяющий пользователям хранить свои данные на серверах в облаке и передавать их другим пользователям в интернете. Работа построена на синхронизации данных между различными устройствами. В настоящее время регистрация пользователей доступна всем. Ранее, до запуска Яндекс. Диска, функции хранения пользовательских файлов на Яндексе выполнял сервис Яндекс.Народ.
Изначально Яндекс.Диск предоставляет около 10Гб навсегда.
Платные пакеты облачного сервиса Яндекс.Диск:
  • +10 Gb — 30 руб./мес или 300 руб./год
  • +100 Gb — 150 руб./мес или 1500 руб./год
  • +1 Tb — 900 руб./мес или 9000 руб./год
На данный момент действует акция: если купить платный пакет на год, то 2 месяца бесплатно.
Кроме того, Яндекс.Диск может выступать в качестве службы облачного сервиса, интегрируясь в офисный пакет Microsoft Office 2013, а недавно появилась возможность автоматической загрузки фото и видеофайлов с цифровых камер и внешних носителей информации на Яндекс. Диск. При этом пользователю предоставляются дополнительно 32 ГБ пространства на полгода.
Сайт Яндекс.Диск:  http://disk.yandex.ru/

5.  Сopy.com

облачные хранилища данных
Copy.com - новый конкурент Dropbox,  перспективный «новичек» среди облачных хранилищ данных. По функционалу практически идентичен Dropbox, однако изначально дает сразу 15 Гбайт бесплатного дискового пространства (+5Гбайт, если перейти по ссылке), еще можно добавить бесплатное дисковое пространство с помощью разных фичей (например, реферальные ссылки). Кроме того,  т.к. разработчик данного сервиса — компания Barracuda Networks, деятельность которой является защита данных, анонсируется хорошая безопасность и защита данных.
Еще из плюсов Copy.com можно отметить красивый и понятный интерфейс; кроссплатформенность сервиса — есть приложения для Android, iOS, Linux, Mac OS X, Windows и Windows Phone; отсуствие ограничения на размер загружаемого файла.
Copy.com предлагает такие тарифные планы:
  • Бесплатный — 15 Гбайт (можно расширить разными действиями до 22 Гбайт );
  • Pro 250 — 250 Гбайт $9.99/мес. или $99/год;
  • Pro 500 — 500 Гбайт $14.99/мес. или $149/год;
Сайт Gopy.comhttps://www.copy.com

6. Облако@mail.ru

Облако@mail.ru — новое и очень перспективное облачное хранилище данных от компании Mail.Ru Group, позволяющее пользователям хранить свои данные  в облаке и синхронизировать данные на разных устройствах, а также делиться ими с другими пользователями.  Сервис открылся относительно недавно  — в конце лета 2013.
облачные хранилища данныхФишка Облако@mail.ru — беспрецедентно большой размер дискового пространства, предоставляемого бесплатно. Пользователи могут сразу бесплатно получить до 100 (!) ГБайт облачного хранилища.
Пользоваться облаком можно не только через веб-интерфейс, но через десктопные (для Windows и Mac OS) и мобильные приложения для Android и iOS. Для самых продвинутых пользователей сделан специальный клиент под Linux.
Функция, с самого начала доступная в мобильных приложениях — автозагрузка фотографий с телефона. Если включена эта функция, все фото, сделанные с помощью устройства, мгновенно оказываются в «Облаке».
Кроме того, т.к. сервис еще новый, то ждем новых функциональных фич! :-)
Сайт Облако@mail.ruhttps://cloud.mail.ru/

7. Bitcasa

Bitcasa — облачное хранилище данных, которое позволяет хранить неограниченное количество вашей информации. Долгожданный релиз вышел из стадии бета в 2013 году.  Bitcasa была основана бывшими сотрудниками Mastercard, VeriSign, Classmates.com и Mozy. А это значит, что создатели сервиса не понаслышке знакомы с решениями для резервного копирования данных онлайн, а также со средствами, обеспечивающими безопасность хранения пользовательских файлов.
облачные хранилища данныхИдея сервиса в том, чтобы предоставить всем желающим неограниченное пространство для облачного хранения данных. Что же касается безопасности, то Bitcasa выполняет шифрование на стороне пользователя, и все данные передаются в «облако» уже в зашифрованном виде. По заявлению создателей, никто из сотрудников компании не может получить доступ к пользовательским данным.
Еще одной удобной «фичей» является встроенный видео-плеер, таким образом, вы сможете просматривать, например, фильмы где-угодно, в том числе с мобильных устройсвт без установки  видео-плеера.
После регистрации сразу доступно бесплатные 20 Гбайт, кроме того есть платные пакеты:
  • 1Тбайт — $10 в месяц;
  • 5 Тбайт — $49 в месяц;
  • Неограниченный (!) объем — $99 в месяц
Bitcasa создана  для самых популярных операционных систем, чтобы все пользователи вне зависимости от парка гаджетов могли получать доступ к своим файлам. Клиент Bitcasa появился в магазинах приложений App Store, Google Play и Windows Store, а также доступен владельцам компьютеров под управлением OS X, Windows и Linux.
Сайт Bitcasa: http://bitcasa.com

8. Yunpan 360

облачные хранилища данныхYunpan 360 — китайское облачное хранилище данных, которое изначально бесплатно и навсегда предоставляет 36 Терабайт(!).  Кроме того, данное дисковое пространство можно ещё и увеличить, есть пользователи, у которых больше 100 Терабайт на Yunpan 360.
Таким образом, все остальные облачные хранилища данных меркнут от таких объемов дискового пространства. Однако, почему же Yunpan 360 пока так плохо известен за пределами Китая? Ответ прост - Yunpan 360 пока только на китайском языке, там нет даже английской версии, не говоря уже о других языках.  Впрочем, для настойчивых есть русскоязычное сообщества http://yunpan.ru, на котором подробно рассказывается как пользоваться данным китайским чудом :-)
Сайт Yunpan 360: http://yunpan.360.cn/

9. 4shared

облачные хранилища данных4shared — облачный файлообменный хостинг.
Базовая бесплатная регистрация даёт возможность загружать до 10 ГБайт в свою учётную запись. После подтверждения регистрации по электронной почте объём увеличивается до 15 ГБайт. Премиум-пользователи получают в своё распоряжение 100 ГБайт.
После успешной загрузки файла пользователь получает уникальную ссылку, по которой другие впоследствии смогут скачать этот файл. Все загруженные файлы сохраняются в течение 180 дней с момента последнего посещения аккаунта. Файлы премиум-пользователей сохраняются на весь срок действия учётной записи. Пользовательский интерфейс сервиса внешне похож на проводник Windows.
Сайт 4sharedhttp://www.4shared.com

10. SugarSync

SugarSync — облачное хранилище данных, которое хранит документы, файлы, фотографии и музыку. Цены начинаются от $ 7,49 в месяц. Чтобы оценить преимущества SugarSync есть 30-дневная бесплатная триал-версия для всех платных пакетов.  Для взаимодействия с сервисом используется удобная программа-клиент, версии которой существуют не только для Windows и Mac, но и для Android, iPhone, Symbian. Количество синхронизируемых устройств не ограничено.
облачные хранилища данныхС февраля 2014 года перешла исключительно на платные пакеты хранилищ данных:
  • 60 Гб — $7,49  в месяц;
  • 100 Гб — $9,99  в месяц;
  • 250 Гб — $24,99  в месяц;
  • 1000 Гб — $55  в месяц;
Основное отличие SugarSync от Dropbox, что он синхронизирует те папки, которые укажет пользователь.
Сайт SugarSync:  https://www.sugarsync.com


11. Wuala

облачные хранилища данных
Wuala — безопасное онлайн-хранилище файлов. Во многом Wuala предоставляет те же возможности, что и DropBox, однако основным достоинством Wuala перед конкурентами является безопасность. (см. статью Как обеспечить безопасность в облачных хранилищах). В отличие от других сервисов, Wuala шифрует все данные непосредственно на компьютере пользователя, и на сервер они передаются уже в зашифрованном виде. Пароль от учетной записи никогда никуда не передается, поэтому привычная схема восстановления пароля на Wuala не работает.
Новые зарегистрированные пользователи получают 5 Гб в сети хранения от команды Wuala.
Сайт Wuala: http://www.wuala.com/

12. Box.net

Box.net — облачное хранилище данных, которое позволяет хранить ваши файлы в сети, а также совместно над ними работать.
облачные хранилища данных
Box.net предостовляет три пакета — один бесплатный и два платных:
  • Personal — бесплатно: для 1 пользователя предоставляется 5 Гб, лимит на размер загружаемого файла — 25 мбайт;
  • Business- $15 в месяц: от 3 до 500 пользователей,  предоставляется 5оо Гб, лимит на размер загружаемого файла — 2Гб;
  • Enterprise — стоимость варьируется от количества пользователей и нужного объема диска.
Преимущества Box.net — это возможность просмотра офисных документов собственными силами, а также возможность расшарить файлы или папки для коллег прямо с мобильного. Кроме того, разработчикам удалось интегрировать в приложение нативный поиск Android за счет чего поиск файлов стал быстрее и точнее.
Сайт Box.net: http://box.net

13. OneDrive ( ex. SkyDrive)

OneDrive — переименованный в феврале 2014 Microsoft SkyDrive, базирующийся на облачной организации интернет-сервис хранения файлов с функциями файлообмена. К слову, SkyDrive создан в августе 2007 года  компанией Microsoft. Сервис OneDrive интегрирован с Microsoft Office. Непосредственно из приложения можно сохранять файлы Excel, OneNote, PowerPoint и Word в службе Windows Live OneDrive.
Сервис OneDrive позволяет хранить изначально бесплатно 7 Гбайт информации в упорядоченном с помощью стандартных папок виде. Для изображений предусмотрен предпросмотр в виде эскизов, а также возможность их просмотра в виде слайдов.
Можно купить дополнительное дисковое пространство:
  • +50 Гбайт — $25.00/год
  • +100 Гбайт — $50.00/год
  • +200 Гбайт — $100.00/год
Как отмечается на сайте OneDrive, это не просто смена имени, а еще и несколько новых возможностей, таких как:
  • автоматическое резервное копирования камеры для Android;
  • возможность совместного использования и просмотра видео так же легко, как фотографий;
  • за каждого приглашенного друга можно получить до 5 Гбайт бесплатно (по 500 Мбайт);
  • + 3 Гбайта бесплатно просто за бекап с камеры;
  • обновленные, более гибкие тарифные планы.
Сайт Microsoft OneDrive: http://onedrive.com

14. iDrive

iDrive является идеальным инструментом для онлайнового резервного копирования с высоким уровнем приватности. Если вы хотите сохранить копию важных документов  на облачном сервере, то iDrive то, что вы ищете. Использовать его просто: скачать iDrive программное обеспечение, запустить приложение и выбрать папки для синхронизации.
Бесплатно предоставляется 5 Гб дисковой квоты хранения.
Сайт iDrive:  http://www.idrive.com

15.iFolder

iFolder распространяется бесплатно с открытым исходным файлом программы синхронизации. iFolder — хорошее программное обеспечение для небольшой команды, которой удобно работать на собственном сервере. Таким образом вы убедитесь, что только члены группы имеют доступ к вашим личным файлам.
Сайт iFolder: http://www.kablink.org

16. OpenDrive

облачные хранилища данных
Полупереведенный на русский язык сайт OpenDrive обещает стандартный набор возможностей с 5 Гбайт пространства для бесплатного пользователя (с ограничением в 100 Мбайт на файл), но внимание привлекает одна особенность: возможность установления пользователем цены на выложенные им файлы. Хочешь скачать — плати. Небезынтересная опция, в некоторых случаях может оказаться вполне полезной.
Сайт OpenDrive: http://www.opendrive.com

17. Syncplicity

Syncplicity — программный комплекс для синхронизации данных в кроссплатформенных средах. Бесплатно предоставляется 2 Гбайта дисковой квоты для 1 пользователя и двух компьютеров. Платные пакеты стартуют от 15 у.е. в месяц.
Одно из преимуществ Syncplicity в том,что  нет необходимости постоянно держать включенными оба компьютера, синхронизация происходит после включения. Недостатком программы является отсутствие русского интерфейса и справки.
В Syncplicity также организована тесная интеграция с некоторыми онлайновыми сервисами. Например, можно загружать фотографии в альбомы на Facebook, просто копируя их в определенные папки на ПК. Также довольно интересно выглядит интеграция с офисным пакетом Google: любой документ, созданный в Google Docs, будет появляться в выбранной папке на компьютере, и наоборот. Таким образом, файл редактируется как локально с помощью Microsoft Office, так и в онлайне.
Сайт Syncplicity:  http://www.syncplicity.com

Автор: ТопОбзор
При использовании этого материала «Обзор 10+ облачных хранилищ данных» активная ссылка на http://topobzor.com обязательна.

SQL. Select - работа с диапазонами

Практика:
- диапазоны и конструкция исключений значений;
SELECT * FROM CHANNEL_DETAILS
WHERE CCID IN (4431,913,4336)
AND CH_START NOT IN (
SELECT CH_START FROM CHANNEL_DETAILS WHERE CH_START>='19.08.14')
AND
CH_END NOT IN (SELECT CH_END FROM CHANNEL_DETAILS WHERE CH_END<='19.05.14')
AND ((CHANNEL_STATE='ACT') OR (CHANNEL_STATE='RDY') OR (CHANNEL_STATE='NEW'));


Теория:

Admin. Instruments - создание мультизагрузочного диска\флэш

Ссылка:
- Три способа сбросить пароль в Windows 7: простой, сложный и неправильный
- Создание мультизагрузочной флешки

Soft:
- YUMI

Поэзия местного производства

Муза, порой, и в эту сферу деятельности заглядывает ;)

Как бывает в каждой команде разработчиков
Некоторым командам разработчиков очень везет и к ним в команду попадает прекрасная половина человечества) Но это сплошное умиление наблюдать процесс создания ПО "нежными созданиями", а особенно бурное восприятие при появлении ошибок) Вот про такую ситуацию следующая зарисовка:

Наша Таня громко пилит,
Уронила в прогу Баг
Тише Танечка не плачь
Мы залили новый патч.

QA. Автоматизация - инструкции и описания

Ссылки:
- Юнит-тесты уровня браузера на связке Selenium + PHP;

DEV. Литература

Комплект литературы для разработчика:
- Книги, которые должен прочитать Java программист: от новичка до профессионала;

пятница, 11 июля 2014 г.

Unix. Поиск, операции с файлами и фильтрация

Практика:

Поиск по шаблону внутри файла:
grep java.lang.ExceptionInInitializer pasm.log

Поиск файла по системе(внимание, имеет значение от имени какого пользователя делаешь поиск. Иногда нужны root привилегии):
find / -name "tlis.sh" 


Теория: 

Операции с файлами и фильтрация

Основная часть работы в командной строке ведётся с файлами. В этом разделе мы рассмотрим, как просматривать и фильтровать содержимое файлов, извлекать из файлов нужную информацию при помощи одной команды и сортировать их содержимое.

cat, tail, head, tee: Команды для вывода содержимого файлов

Эти команды имеют почти один и тот же синтаксис: имя_команды [опции] [файл(ы)], и могут быть использованы в каналах. Все они используются для вывода части файла согласно определенным критериям.
Утилита cat объединяет файлы и выводит результат на стандартный вывод. Это одна из наиболее широко используемых команд. Вы можете использовать:
# cat /var/log/mail/info
для вывода, например, содержимого файла с журналом почтового демона на стандартный вывод [14]. Команда cat имеет очень полезную опцию (-n), которая позволяет вам выводить номера строк.
Некоторые файлы, типа журналов демонов (если они запущены) обычно имеют довольно большой размер [15] и полный их вывод на экран будет не очень полезным. Часто вам нужно увидеть только несколько строк из файла. Для этого вы можете воспользоваться командой tail. Следующая команда выведет (по умолчанию) последние 10 строк из файла /var/log/mail/info:
# tail /var/log/mail/info
Вы можете использовать опцию -n для вывода последних N строк файла. Например, для вывода последних 2-х строк наберите:
# tail -n2 /var/log/mail/info
Команда head похожа на tail, но она выводит первые строки файла. Следующая команда выведет (по умолчанию) первые 10 строк файла /var/log/mail/info:
# head /var/log/mail/info
Как и в случае с tail вы можете использовать опцию -n для указания количества выводимых строк. Например, для вывода первых 2-х строк наберите:
# head -n2 /var/log/mail/info
Также вы можете использовать эти две команды совместно. Например, если вы хотите увидеть только строки 9 и 10, вы можете воспользоваться командой, в которой head выберет первые 10 строк из файла и передаст их по каналу в команду tail.
# head /var/log/mail/info | tail -n2
Затем вторая часть команды отберет последние 2 строки и выведет их на экран. Таким же способом вы можете выбрать 20-ю от конца файла строку:
# tail -n20 /var/log/mail/info |head -n1
В этом примере мы говорим команде tail выбрать последние 20 строк файла и передать их по каналу в head. Затем команда head выводит на экран первую строку из полученных данных.
Допустим, что результат последнего примера нам нужно одновременно вывести на экран и сохранить его в файл results.txt. В этом нам может поможет утилита tee. Ее синтаксис:
tee [опции] [файл]
Теперь мы можем изменить предыдущую команду следующим образом:
# tail -n20 /var/log/mail/info |head -n1|tee results.txt
Давайте рассмотрим еще один пример. Нам нужно выбрать последние 20 строк, сохранить их в файл results.txt, а на экран вывести только первую из них. Тогда мы должны ввести следующее:
# tail -n20 /var/log/mail/info |tee results.txt |head -n1
У команды tee есть полезная опция (-a), которая позволяет вам дописать данные в конец существующего файла.
Давайте вернемся назад к команде tail. Такие файлы как журналы обычно динамически изменяются, т.к. демон постоянно добавляет в них отчет о совершенных действиях или событиях. Поэтому, если вам нужно наблюдать за изменениями в лог-файле в режиме реального времени, тогда вам нужно воспользоваться преимуществами опции -f:
# tail -f /var/log/mail/info
В этом случае все изменения в файле /var/log/mail/info будут немедленно выводиться на экран. Использование команды tail с опцией -f весьма полезно, когда вам нужно знать, как работает ваша система. Например, наблюдая за файлом журнала /var/log/messages, вы сможете всегда получать обновленную информацию о системных сообщенях и различных демонах.
В следующем разделе мы рассмотрим, как можно использовать утилиту grep в качестве фильтра для отделения сообщений Postfix от сообщений других служб.

grep: Поиск строк в файлах

Ни имя команды, ни ее аббревиатура (“General Regular Expression Parser” - синтаксический анализатор общих регулярных выражений) не слишком интуитивны, но ее действие и ее использование довольно просты для понимания: grep выполняет поиск в одном или нескольких файлах по шаблону, заданному в качестве аргумента. Ее синтаксис:
grep [опции] <шаблон> [один или более файлов]
Если указано несколько файлов, в отображаемом результате их имена будут выводиться перед каждой найденной строкой. Для предотвращения вывода этих имен используйте опцию -h; используйте опцию -l для вывода только имен файлов с найденными совпадениями. Шаблон - это регулярное выражение, хотя в большинстве случаев он состоит просто из одного слова. Наиболее часто используемые опции:
  • -i: поиск без учета регистра (т.е. игнорирование разницы между верхним и нижним регистром);
  • -v: обратный поиск. Вывод строк, которые не соответствуют шаблону;
  • -n: вывод номера строки для каждой из найденных строк;
  • -w: сообщает grep'у, что шаблон должен совпадать со всем словом.
Итак, давайте теперь вернемся к анализу лог-файла почтового демона. Нам необходимо найти все строки в файле /var/log/mail/info, содержащие шаблон “postfix”. Для этого мы вводим такую команду:
# grep postfix /var/log/mail/info
Команда grep может быть использована в канале. Так мы можем получить такой же результат, что и в предыдущем примере, при помощи следующего:
# cat /var/log/mail/info | grep postfix 
Если нам нужно найти все строки, не содержащие шаблона “postfix”, нам надо будет воспользоваться опцией -v:
# grep -v postfix /var/log/mail/info
Давайте предположим, что нам необходимо найти все сообщения об успешно отправленных письмах. В этом случае мы должны отфильтровать все строки, добавленные почтовым демоном в файл журнала (содержащие шаблон “postfix”), и они должны содержать сообщение об успешной отправке (“status=sent”):
# grep postfix /var/log/mail/info |grep status=sent
В этом случае команда grep использована дважды. Это разрешается, но не совсем красиво. Мы можем получить тот же результат при помощи утилиты fgrep. Сначала нам нужно создать файл, содержащий шаблоны, записанные в столбик. Такой файл может быть создан следующим образом (мы используем patterns.txt в качестве имени файла):
# echo -e 'status=sent\npostfix' >./patterns.txt
Затем мы вызываем следующую команду, в которой мы используем файл patterns.txt со списком шаблонов и утилиту fgrep вместо “двойного вызова” команды grep:
# fgrep -f ./patterns.txt /var/log/mail/info
Файл ./patterns.txt может содержать сколько угодно шаблонов. Каждый из них должен быть введен в виде одной строки. Например, для выборки сообщений о письмах, успешно отправленных на адрес peter@mandrakesoft.com, достаточно будет добавить адрес этого электронного ящика в наш файл ./patterns.txt, выполнив следующую команду:
# echo 'peter@mandrakesoft.com' >>./patterns.txt
Понятное дело, что вы можете комбиноровать команду grep с tail и head. Если нам нужно найти сообщения о предпоследнем электроном письме, отправленном на адрес peter@mandrakesoft.com, мы используем:
# fgrep -f ./patterns.txt /var/log/mail/info | tail -n2 | head -n1
Здесь мы применили описанный выше фильтр и отправили результат через канал в команды tail и head. Они выбрали из данных предпоследнее значение.

wc: Подсчёт элементов в файлах

Команда wc (Word Count - подсчёт слов) используется для подсчёта числа строк и слов в файлах. Она также полезна для подсчёта байтов, символов и длины самой длинной строки. Её синтаксис:
wc [опции] [файл(ы)]
Список полезных опций:
  • -l: вывод количества новых строк;
  • -w: вывод количества слов;
  • -m: вывод общего количества символов;
  • -c: вывод количества байт;
  • -L: вывод длины самой длинной строки в заданном тексте.
По умолчанию команда wc выводит количество новых строк, слов и символов. Вот несколько примеров использования:
Если нам нужно определить число пользователей в нашей системе, мы можем ввести:
$wc -l /etc/passwd 
Если нам нужно узнать число CPU в нашей системе, мы пишем:
$grep "model name" /proc/cpuinfo |wc -l
В предыдущем разделе мы получили список сообщений об успешно отправленных письмах на адреса, перечисленные в нашем файле./patterns.txt. Если нам нужно узнать количество таких сообщений, мы можем перенаправить наш отфильтрованный результат через канал в команду wc:
# fgrep -f ./patterns.txt /var/log/mail/info | wc -l

sort: Сортировка содержимого файла

Ниже представлен синтаксис этой можно утилиты для сортировки[16]:
sort [опции] [файл(ы)]
Давайте отсортируем часть файла /etc/passwd. Как видите сам по себе этот файл не отсортирован:
$ cat /etc/passwd
Если нам нужно отсортировать его по полю login, мы набираем:
$ sort /etc/passwd
По умолчанию команда sort сортирует информацию по первому полю в порядке возрастания (в нашем случае по полю login). Если нам нужно отсортировать данные в порядке убывания, мы используем опцию -r:
$ sort -r /etc/passwd
Для каждого пользователья имеется свой собственный UID, записанный в файле /etc/passwd. Давайте отсортируем этот файл в порядке возрастания по полю UID:
$ sort /etc/passwd -t":" -k3 -n
Здесь мы используем следующие опции sort:
  • -t":": сообщает sort'у, что разделителем полей является символ ":";
  • -k3: означает, что сортировка должна быть выполнена по по третьему столбцу;
  • -n: сообщает, что выполняется сортировка числовых данных, а не буквенных.
То же самое может быть выполнено в обратном порядке:
$ sort /etc/passwd -t":" -k3 -n -r
Обратите внимание, что sort обладает двумя важными опциями:
  • -u: строгая сортировка: исключаются повторяющиеся поля сортировки;
  • -f: игнорирование регистра (строчные символы обрабатываются так же, как и прописные).
И в заключение, если нам нужно найти пользователя с наивысшим UID, мы можем воспользоваться этой командой:
$ sort /etc/passwd -t":" -k3 -n |tail -n1
, где мы сортируем файл /etc/passwd в порядке возрастания по столбцу UID и прогоняем результат по каналу через команду tail, которая выводит первое значение из отсортированного списка.

четверг, 10 июля 2014 г.

QA. Automation - Human Emulator


Human Emulator — универсальная система бизнес, веб и браузер-автоматизации

Внешний вид программы Нумерация всех ссылок на странице Настройка отображения элементов страницы в браузере
Внешний вид программы
Нумерация всех ссылок
на странице
Настройка отображения
элементов страницы в браузере
Заполнение форм Просмотр DOM модели страницы сайта Просмотр и запуск JAVA-скриптов на странице сайта
Заполнение форм
Просмотр DOM модели
страницы сайта
Просмотр и запуск JAVA-скриптов
на странице сайта

С ее помощью автоматизируется выполнение любых задач, на которые вы и ваши сотрудники тратите свое драгоценное время! Автоматизация — обязательный элемент успешного бизнеса.

Ежедневно вы сталкиваетесь с десятками задач, отнимающими ваше время.

Human Emulator – простой и удивительно мощный инструмент автоматизации браузера

среда, 9 июля 2014 г.

SQL. SELECT into file

SQL Developer: 

Method 1
Add the comment /*csv*/ to your SQL query and run the query as a script (using F5 or the 2nd execution button on the worksheet toolbar)
enter image description here
That's it.
Method 2
Run a query
alt text
Right click and select unload.

Запись результатов sql-запроса в файл bash:

 Как записать каждую запись результата sql-запроса в файл через пробел в bash'е? Как записать каждую запись результата sql-запроса в файл на отдельной строке в bash'е?

\\  psql dbname -c 'select * from test1' > file.txt

Файловый вывод/ввод

Большинство программ, работающих с БД, позволяют сохранять выборки в различных форматах, но не все позволяют сохранить в виде простого текстового файла. Например, была ситуация, когда в БД была необходимая информация о сотрудниках (более тысячи человек) для одной стандартной формы. А формат файла, описывающий эту форму, оказался текстовым. Поэтому проблема решилась выборкой в файл и вставкой его содержимого в файл формы. А соответствующий отдел был избавлен от лишней работы. Для конкретности примера, воспользуемся следующей таблицей с данными.

-- таблица цветов
create table colors(
id integer,
cname varchar(45), 
constraint pk_colors primary key (id)
);

insert into colors values(1,'красный');
insert into colors values(2,'синий');
insert into colors values(3,'зеленый');
insert into colors values(4,'белый');
insert into colors values(5,'черный');
commit;

Oracle

В Oracle вывод в файл реализуется с помощью команды SQL plus spool. Она служит как для начала вывода в файл, так и для остановки. По умолчанию расширение файла lst.

-- открываем вывод в файл
spool c:\\myfile; 

-- выборка
select t.id || ' ' || t.cname from colors t;

-- закрываем вывод в файл
spool off; 
Так как это не SQL команда, то ее нельзя использовать внутри PL/SQL блока, но можно поместить блок между этими командами. По этой же причине, чтобы выполнить этот пример в PL/SQL developer, нужно открыть Command window.
На некоторых операционных системах поддерживается дополнительный параметр out, позволяющий сразу распечатать выборку на принтере установленном по умолчанию.

-- открываем вывод в файл
spool c:\myfile; 

-- выборка
select t.id || ' ' || t.cname from colors t;

-- закрываем вывод файл и распечатываем
spool out; 

MySQL

В MySQL данная задача реализована аналогично сохранению выборки в списке переменных в команде select.

select *
into outfile 'c:/myfile.lst' -- указываем файл
fields terminated by ',' -- разделитель полей
enclosed by '"' -- заключить каждое поле между "
lines terminated by '\\n' -- разделитель строки
from colors;
Если какой-либо разделитель не нужен, то его определение можно опустить. В отличие от Oracle здесь нельзя вывести более одной выборки в один файл.
Команда LOAD DATA INFILE является обратной и позволяет загрузить данные из файла в таблицу.
Например пусть есть файл myfile.lst, со следующим содержимым в обычной для Windows русской кодировке.
"50", "светло-коричневый"
"51", "темно-коричневый"
Тогда загрузить данные можно следующей командой.

load data  infile 'c:/myfile.lst' 
  ignore -- пропускаем если данные уже в таблице
  into table colors
  character set cp1251 -- кодировка исходного файла
  fields
  terminated by ',' -- разделитель полей
  enclosed by '"' -- поле заключено между "
  lines terminated by '\\n'; -- разделитель строки
Если таблица colors использует другую кодировку, например utf-8, данные преобразуются корректно.

PostgreSQL

Команда copy в PostgreSQL позволяет, как сохранить выборку в файле, так загрузить данные из файла. Файловый источник должен существовать заранее, при записи автоматически он не создается. При повторном копировании содержимое файла перезаписывается. При чтении из файла в таблицу, кодировки строковых данных должны совпадать.

-- простой вывод данных в файл
copy (select * from colors) to 'c:/myfile.lst'; 

-- предположим, база настроена на кодировку utf-8,
-- тогда и строки сохранятся в файл в utf-8
copy 
  (
  select '"50", "светло-коричневый"'
    union
  select '"51", "темно-коричневый"'
  ) to 'c:/myfile.lst';

-- а теперь загрузим данные в таблицу
copy colors (id, cname) from 'c:/myfile.lst'
  with delimiter ',' -- разделитель полей
  null 'null' -- чем заменять пустые значения
  cvs -- CSV настройки
  quote '"' -- поле заключено между "
  escape '\\\\' ; -- ESC символ, для пропуска "

понедельник, 7 июля 2014 г.

пятница, 4 июля 2014 г.

WebDev. XML - автоматизации процессов просмотра\редактирования

Раздел для сбора информации по автоматизации процессов просмотра\редактирования.

Начну с конца, а именно с функции которая была необходима мне, для приведения в порядок не отформатированных файлов. Для того что бы отформатировать XML файл «легким движением руки», перейдите в меню «Плагины» далее XML Tools и выберите пункт:
Pretty Print (XML only with-line breaks)
в результате этой операции вы получите полностью отформатированный файл.
Теперь о других возможностях этого плагина:
Установив опцию Enable XML syntax auto-check, вы тем самым включите автоматическую проверку синтаксиса xml и в случае ошибки в вашем xml файле, вы будете проинформированы сообщением об ошибке — при попытке сохранить файл.
Если вы просто хотите проверить имеющийся у вас xml файл на ошибки воспользуйтесь
Check XML syntax now
Для автоматической валидации кода используйте:
Enable Auto Validation
или для валидации файла воспользуйтесь
Validate Now.
Для автоматического закрытия тегов используйте
Tag auto close. 

Полезное:
Десятка незаменимых Firefox-надстроек веб-разработчика

четверг, 3 июля 2014 г.

WebDev. XML. Validators

XML - XSD
1. www.corefiling.com
2. www.utilities-online.info
3. www.freeformatter.com
4. validator.w3.org

При работе с валидаторами необходимо удалит лишнюю строку:
<xsd:include schemaLocation=""></xsd:include>  

http://citforum.ck.ua/internet/xml/scheme/

XML-СХЕМА. ЧАСТЬ 0: ПРИМЕР

SQL. SQLDeveloper - отображение зависимостей

Для отображения зависимостей используется функция DataModeler. В ней можно просмотреть, как связаны между собой таблицы в БД.

Инструкцию по использованию можно найти тут:
http://www.oracle.com/technetwork/developer-tools/datamodeler/overview/index.html

Выигрываем время - гарячие кнопки

        Раздел посвящен теме оптимизации действий в работе.
        Как известно, экономия времени,  на высокочастотных операциях, приводит к выигрышу достаточно количества времени. Например: переключение раскладки клавиатуры занимает 1 сек времени с участием внимания пользователя, в то время, как программа Puntoswitcher выполняет данную операцию в автоматическом режиме, экономя 1 сек и внимание пользователя.
        Именно для таких инструментов и посвящена данный раздел. Раздел постоянно будет обновятся новыми возможностями и хитростями, так как поданная информация используется автором в работе и постоянно улучшается. Итак, начнем:

Горячие кнопки браузера FireFox:
Ctrl + T - открытие новой вкладки;
Ctrl + N - открытие нового окна браузера;

Горячие кнопки OS Windows:

SEO: Эксперимент: как Яндекс и Google учитывают ключевые слова в URL

Эксперимент: как Яндекс и Google учитывают ключевые слова в URL Эксперимент: как Яндекс и Google учитывают ключевые слова в URL Дата пу...