Xreferat.com » Рефераты по информатике и программированию » Використання функціонального підходу при програмуванні розподілених задач для кластеру на прикладі технології DryadLINQ

Використання функціонального підходу при програмуванні розподілених задач для кластеру на прикладі технології DryadLINQ

випадку виконання роботи на 4 вузлах):


Використання функціонального підходу при програмуванні розподілених задач для кластеру на прикладі технології DryadLINQ


Файл метаданих має формат. pt і містить три розділи:

папка та ім’я файлу - перша строчка описує стандартну папку з відкритим доступом і стандартне ім’я для часткових даних. Кожен вузол в кластері має папку DryadData з відповідними правами доступу та кожна частина розподілених даних повинна міститися в цій папці на відповідних вузлах

кількість частин - друга строчка описує кількість частин розподілених даних. В даному випадку 4

опис розподілених даних - решта файлу. Одна строка - на одну частину. Кожна лінія містить три або більше елементів розподілених комою: номер частини даних (в десятковому вигляді), розмір частини, ім’я комп’ютерів де знаходяться ці дані.

У файлі метеданих не повинно бути жодних пробілів. Номер частин розподілених починається з 00000000. Розмір частини вказувати не обов’язково, тобто якщо при кожному новому виконанні роботи Dryad її розмір змінюється можна вказати нульовий розмір. Також певна чатина даних може не знаходитися в стандартній папці. У цьому випадку в рядку опису цієї частини після переліку вузлів де знаходиться ця частина необхідно поставити ": " та потім вказати ім’я папки та ім’я частини. Наприклад у випадку використання тільки однієї частини розподілених даних файл метаданих може бути наступним


Використання функціонального підходу при програмуванні розподілених задач для кластеру на прикладі технології DryadLINQ


Тут ми не вказуємо папку та ім’я за замовчуванням.


2.5 Бібліотеки LinqToDryad. dll та System. Threading. dll


Також проект що використовує DryadLINQ необхідно підключити дві бібліотеки LinqToDryad. dll та System. Threading. dll. LinqToDryad. dll містить клас бібліотек DryadLINQ та провайдер DryadLINQ. Розташування цієї бібліотеки за замовчуванням C: Program FilesMicrosoft Research DryadLINQlib де міститься версії цієї бібліотеки для відлагодження та для кінцевої версії проекту. System. Threading. dll стандартна бібліотека платформи 3. 5 необхідна для використання стандартних можливостей цієї платформи (наприклад WCF). Розташовується вона за замовчуванням в С: Program FilesMicrosoft Research DryadLINQLibMicrosoftFrameworkv3. 5


2.6 Виконання роботи Dryad


Для реалізації консольної програми обчислення інтегралу 1/х методом Монте-Карло на кластері Windows HPC 2008 з використанням DryadLINQ програма перед початком роботи генерує випадкові точки в певному діапазоні записує їх у декілька текстових файлів кожен з яких потім копіюється на відповідний вузол.

Розглянемо виконання роботи Dryad на прикладі запиту DryadLINQ


PartitionedTable<LineRecord> table = PartitionedTable. Get<LineRecord> (uri);

IQueryable<string> table1 = table

. Select (s => s. line)

. Where (s => (1/ (fun (s. Split (' ') [0]))) > fun (s. Split (' ') [1]));

double result = (1. 000000 * table1. Count () * (x2-x1) * (y2-y1)) /lenght;


Спочатку зчитується файл метаданих де вказується кількість та місце знаходження частин розподілених даних які попередньо були скопійовані на відповідні вузли. Далі представляється IQueryable<string> у вигляді PartitionedTable<string>. В запиті DryadLINQ реалізується вибірка тих текстових рядків в яких функція 1/x від першого числа більша за друге число. Тут використовується функція fun яка переводить string у double та функція Split з простору System. Text що розділяє стрічку на частини між якими був знак пробілу. Це реалізується двома методами Select та Where. Перший серед всієї сукупності вхідних діних виділяє рядок, а другий аналізує чи цей рядок задовольняє нашим умовам. Після цього підраховується кількість обраних рядків за допомогою методу Count.

Під час виконання роботи Dryad на консолі провайдер Dryad виводить наступне:


Використання функціонального підходу при програмуванні розподілених задач для кластеру на прикладі технології DryadLINQ

Рис. 2.2


Як видно з рисунка провайдер Dryad виводить:

шлях стандартної папки виводу

місце знаходження файлу метаданих

елементи кожного рівня виконавчого графа Dryad

інформація про стан підключення до кластера та погодження роботи на ньому

інформується чи робота виконується (running) чи вона поки що в черзі (queued)

Після завершення виконання роботи Dryad на кластері провайдер Dryad повертає оброблені дані до програми.

Дана програма обчислення інтегралу методом Монте-Карло була запущена на різній кількості вузлів: від одного до шести.


Використання функціонального підходу при програмуванні розподілених задач для кластеру на прикладі технології DryadLINQВикористання функціонального підходу при програмуванні розподілених задач для кластеру на прикладі технології DryadLINQВикористання функціонального підходу при програмуванні розподілених задач для кластеру на прикладі технології DryadLINQ

Рис. 2.3. Залежність часу виконання роботи Dryad від кількості задіяних вузлів.

Висновки


В результаті зробленого аналізу підходів до розробки паралельних програм було обґрунтовано доцільність створення нового, який передбачає покладання фонової роботи по розпаралеленню на інструментальні засоби, а не на розробника. Серед існуючих парадигм програмування було обрано парадигму функціонального програмування як таку що відповідає висунутим критеріям.

Внаслідок аналізу інструментальних засобів для створення функціонально орієнтованих програм було обрано DryadLINQ.

Реалізована обчислювальна задача методом Монте-Карло дозволила сформувати концепцію використання функціонального підходу у програмуванні для реалізації паралельних обчислювальних задач.

Перелік посилань


Windows® HPC Server 2008 Resource Kit: // resourcekit. windowshpc/home.html

DryadLINQ - Microsoft Research Project Page // research. microsoft/en-us/projects/dryadlinq/

Microsoft® Connect – Dryad // connect. microsoft/Dryad

Dryad - Microsoft Research Project Page // research. microsoft/en-us/projects/dryad/

Dryad and DryadLINQ for Data Intensive Research // research. microsoft/en-us/collaboration/tools/dryad. aspx

Intel - HPC: архитектура суперкомпьютеров и разновидности // ru. intel/business/community/? automodule=blog&blogid=6276&showentry=888

Russian Software Developer Network // rsdn/

Language-Integrated Query (LINQ) // msdn. microsoft/en-us/library/bb397926. aspx

LINQ: Language-Integrated Query // msdn. microsoft/en-us/library/bb308959. aspx

Dryad and DryadLINQ team blogs // blogs. msdn/b/dryad/

Meijer E., Barga R. Introduction to Dryad and DryadLINQ // channel9. msdn/posts/Charles/Expert-to-Expert-Erik-Roger-Barga-Introduction-to-Dryad-and-DryadLINQ/

Vert J. Data-Intensive Computing on Windows HPC Server with the DryadLINQ Framework // microsoftpdc/Sessions/SVR17

Podwysocki M. Dryad/DryadLINQ and Project Trident Released

// weblogs. asp/podwysocki/archive/2009/07/16/dryad-dryadlinq-and-project-trident-released. aspx

Campbell D. Dryad and DryadLINQ: Academic Accelerators for Parallel Data Analysis // blogs. msdn/b/msr_er/archive/2010/02. aspx

Colaci A. Dryad and DryadLINQ for Data Intensive Research // blogs. msdn/b/lchong/archive/2009/09/23/dryad-and-dryadlinq-for-data-intensive-research. aspx

Chong L. Scaling out PLINQ: DryadLINQ at PDC09 and Supercomputing09 // blogs. msdn/b/pfxteam/archive/2009/11/11/9921066. aspx

Додатки


Додаток А


Текст глобального файлу конфігурації

<DryadLinqConfig>

<ClusterName>hnode</ClusterName>

<Cluster name="hnode"

schedulertype="Hpc"

partitionuncdir=" XCoutput "

dryadoutputdir="file: // \hnodeUserdatatmaliarchukoutput" />

</DryadLinqConfig>

Додаток Б


Текст локального файлу конфігурації

DryadLinqConfig>

<DryadLinqRoot>

C: Program FilesMicrosoft Research DryadLINQ

</DryadLinqRoot>

</DryadLinqConfig>

Додаток B


Текст файлу метаданих (у випадку чотирьох обчислювальних вузлів)

DryadDatatmaliarchukmc

4

0,0,NODE05

1,0,NODE06

2,0,NODE10

3,0,NODE14

Додаток Г


Текст програми обрахунку інтегралу методом Монте-Карло

using System;

using System. IO;

using System. Collections. Generic;

using System. Text;

using System. Linq;

using LinqToDryad;

using System. Diagnostics;

public class MatchString2

{

public static double fun (string s)

{

int i, j = 1;

double ds = 0;

bool b = false;

for (i = 0; (i! = (s. Length)); i++)

{

if (s [i]! = ',')

if (! b) ds = ds*10 + ( (int) s [i] - 48);

else

{

j *= 10;

ds = ds + (1. 0000 * ( (int) s [i] - 48) / j);

}

else b = true;

}

return ds;

}

public static void create (int lenght, int x1, int x2, int y1, int y2, string source,string destination)

{

Console. WriteLine (source);

Random rnd = new Random ();

using (StreamWriter sw = new StreamWriter (source))

{

for (int i = 0; i < lenght / 2; i++)

{

sw. Write (Convert. ToString (x1 + (x2 - x1) * rnd. NextDouble ()));

sw. Write (' ');

sw. WriteLine (Convert. ToString (y1 + (y2 - y1) * rnd. NextDouble ()));

}

}

Console. WriteLine ("copying");

System. IO. File. Copy (source, destination, true);

}

static void Main (string [] args)

{

int lenght = 1000000;

int x1 = 1;

int x2 = 10;

int y1 = 0;

int y2 = 1;

create (lenght/4, x1, x2, y1, y2, @"D: tempmc. 00000000", "\\node05\DryadData\tmaliarchuk\mc. 00000000");

create (lenght/4, x1, x2, y1, y2, @"D: tempmc. 00000001", "\\node06\DryadData\tmaliarchuk\mc. 00000001");

create (lenght/4, x1, x2, y1, y2, @"D: tempmc. 00000002", "\\node10\DryadData\tmaliarchuk\mc. 00000002");

create (lenght/4, x1, x2, y1, y2, @"D: tempmc. 00000003", "\\node14\DryadData\tmaliarchuk\mc. 00000003");

string uri = DataPath. FileUriPrefix + Pathbine ("\\hnode\UserData\tmaliarchuk", "montecarlo. pt");

PartitionedTable<LineRecord> table = PartitionedTable. Get<LineRecord> (uri);

Stopwatch t = new Stopwatch ();

t. Start ();

IQueryable<string> table1 = table. Select (s => s. line)

. Where (s => (1/ (fun (s. Split (' ') [0]))) > fun (s. Split (' ') [1]));

double result = (1. 000000 * table1. Count () * (x2-x1) * (y2-y1)) /lenght;

t. Stop ();

Console. WriteLine (t. Elapsed);

Console. WriteLine (result);

Console. ReadKey ();

}

}

Размещено на

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту
Нужна помощь в написании работы?
Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Похожие рефераты: