Представление результатов проекта

Message boards : Number crunching : Представление результатов проекта
Message board moderation

To post messages, you must log in.

1 · 2 · Next

AuthorMessage
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 767 - Posted: 18 Jun 2024, 3:10:55 UTC
Last modified: 18 Jun 2024, 3:29:13 UTC

Начну с цитаты г. Петухова от 10 марта т. г.

Но, "есть более важные дела и проблемы" ... Ведь до сих пор не сделана нормальная (или хоть какая-то рабочая) разбивка по страницам, т.е. получить полные списки длиннее 200тыс элементов практически невозможно.

https://dxdy.ru/post1632386.html#p1632386

Это говорит о том, что проблемы с загрузкой результатов не только у меня.

Приведу пример для страницы 15-к в BOINC-проекте TBEG и в BOINC-проекте SPT, страницы загружались по ссылкам
https://boinc.termit.me/adsl/tuples.php?spt=15&p=1&ln
https://boinc.tbrada.eu/spt/tuples.php?spt=15&p=1

Показываю скриншоты страниц





Demis
вы видите разницу?

На странице 15-к в SPT в данный момент всего 1460 кортежей.
Эта страница загружается быстро.

Через буфер обмена эту маленькую страницу удаётся сохранить.
Но страницу 13-к мне через буфер обмена сохранить не удаётся.
К тому же, и открывается она долго.

На скриншоте с проекта TBEG я обвела красным контуром кнопку, нажав на которую моментально получаем копию страницы в текстовом формате на своё диск.
Такой кнопки в проекте SPT нет.

Demis
зачем вы для каждого кортежа прикрепляете ссылку?
Это очень тормозной формат!

Проект работает почти год.
У Demis, как всегда "есть более важные дела"; например, сейчас он выводит на страницу статуса проекта, сколько заданий в пакетах посчитано и сколько осталось посчитать.
Это, конечно, очень важное дело! (в кавычках).

А то, что к результатам не пробиться, - это ерунда!
Разве это важное дело?
ID: 767 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 768 - Posted: 18 Jun 2024, 3:27:46 UTC
Last modified: 18 Jun 2024, 3:30:24 UTC

Запускаю загрузку 13-к по ссылке
https://boinc.termit.me/adsl/tuples.php?spt=13&p=1&ln

Страница загружается более минуты; в проекте TBEG даже страницы с 200000 кортежей загружаются мгновенно.
Страница 13-к содержит на данный момент 158613 кортежей.
Работать на загруженной странице совершенно невозможно.
Ни копирование (даже части страницы), ни поиск по странице не работают.
Страница просто зависает.

Как скопировать эту страницу в текстовом формате на диск своего компьютера?

Demis
не подскажете?

Сохранить страницу через буфер обмене мне не удаётся.
Можно сохранить в формате html, но это неудобный формат для дальнейшей работы с результатами на скопированной странице.

Я вижу один выход: убрать ссылки на каждый кортеж и сделать результаты в текстовом формате, как это сделано в BOINC-проекте TBEG.
ID: 768 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 770 - Posted: 18 Jun 2024, 7:03:49 UTC - in response to Message 767.  

Начну с цитаты г. Петухова от 10 марта т. г.

Но, "есть более важные дела и проблемы" ... Ведь до сих пор не сделана нормальная (или хоть какая-то рабочая) разбивка по страницам, т.е. получить полные списки длиннее 200тыс элементов практически невозможно.

https://dxdy.ru/post1632386.html#p1632386

Это говорит о том, что проблемы с загрузкой результатов не только у меня.
Логично.


Приведу пример для страницы 15-к в BOINC-проекте TBEG и в BOINC-проекте SPT, страницы загружались по ссылкам
https://boinc.termit.me/adsl/tuples.php?spt=15&p=1&ln
https://boinc.tbrada.eu/spt/tuples.php?spt=15&p=1
Demis
вы видите разницу?

Да.
Вижу.

Странно, что Вы ее не видите.
Когда мы заходим на страницу https://boinc.tbrada.eu/spt/explore.php
Мы видим текст "Use tuples.php?[kind]=[k]&p=[page], where" и линк к нему https://boinc.tbrada.eu/spt/tuples.php?spt=20&p=1&ln
В этом линке присутствует "&ln".
И по умолчанию у Томаша открывается именно с линками.
У нас сделано так-же.

Так-же там есть текст "add &ln for clickable html output", который переводится гуглом как "добавьте &ln для интерактивного вывода HTML". По сути покажет с линками.
У нас сделано так-же.

Если убрать хвостик "&ln" и нажать Энтер, то получим станицу без линков, т.е. чистый текст.
Так-же как у Томаса.

Когда-то очень давно я Вам объяснял как именно скачивать чистый текст у Томаша.


На странице 15-к в SPT в данный момент всего 1460 кортежей.
Эта страница загружается быстро.

Через буфер обмена эту маленькую страницу удаётся сохранить.
Но страницу 13-к мне через буфер обмена сохранить не удаётся.
К тому же, и открывается она долго.

На скриншоте с проекта TBEG я обвела красным контуром кнопку, нажав на которую моментально получаем копию страницы в текстовом формате на своё диск.
Такой кнопки в проекте SPT нет.

Такая кнопка не имеет отношения к проекту.
Это кнопка из Вашего браузера.

В моем браузере такой кнопки на проекте Томаша нет.


Demis
зачем вы для каждого кортежа прикрепляете ссылку?
Это очень тормозной формат!
Не очень тормозной.


Проект работает почти год.
У Demis, как всегда "есть более важные дела"; например, сейчас он выводит на страницу статуса проекта, сколько заданий в пакетах посчитано и сколько осталось посчитать.
Это, конечно, очень важное дело! (в кавычках).

А то, что к результатам не пробиться, - это ерунда!
Разве это важное дело?

ID: 770 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 774 - Posted: 18 Jun 2024, 7:30:32 UTC - in response to Message 768.  

Запускаю загрузку 13-к по ссылке
https://boinc.termit.me/adsl/tuples.php?spt=13&p=1&ln

Страница загружается более минуты; в проекте TBEG даже страницы с 200000 кортежей загружаются мгновенно.
Страница 13-к содержит на данный момент 158613 кортежей.
Работать на загруженной странице совершенно невозможно.
Ни копирование (даже части страницы), ни поиск по странице не работают.
Страница просто зависает.
Да.
Есть такое.
Изучал этот момент.
Не все идеально (в техническом плане).
У нас сервер на виртуальной машине, а точнее "в" виртуальной машине.
Виртуальная машина всегда медленнее примерно в 4-ре раза по сравнению с bare-metal.
Не знаю как дословно перевести термин "bare-metal" на русский, наверное как "на чистом железе" (или как "на голом железе").
Это один момент.

Второй момент:
Если Вы внимательно посмотрите конфигурацию сервера у Томаша https://boinc.tbrada.eu/forum_thread.php?id=3096&postid=4090#4090
То увидите, что у него используется "SSD: KINGSTON SA400S3 240 GB"
SSD это такой тип винчестера.
Очень быстрый.
В 10 раз быстрее по сравнению с обычным винчестером.

Поэтому у нас в любом случает будет медленнее.
В любом случае спасибо Corporal за предоставленную возможность работы сервера.

На текущий момент мной рассматриваются различные варианты "как можно ускорить, хоть не много" работу по отгрузке данных.
Наработки есть.
Частично они уже применены.
Но еще не все.
Работаю на этим.


Как скопировать эту страницу в текстовом формате на диск своего компьютера?

Demis
не подскажете?

Сохранить страницу через буфер обмене мне не удаётся.
Можно сохранить в формате html, но это неудобный формат для дальнейшей работы с результатами на скопированной странице.

Я вижу один выход: убрать ссылки на каждый кортеж и сделать результаты в текстовом формате, как это сделано в BOINC-проекте TBEG.
По поводу ссылок написал в предыдущем посте.
ID: 774 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 777 - Posted: 18 Jun 2024, 8:02:11 UTC
Last modified: 18 Jun 2024, 8:18:10 UTC

Когда-то очень давно я Вам объяснял как именно скачивать чистый текст у Томаша.

Я начала работать в проекте Томаша сразу же, как Томаш начал запускать проект, и без вас.
И никогда никаких проблем с загрузкой страниц не возникало!
Все страницы загружались всегда в текстовом формате, без всяких линков.
Вот по такой ссылке
https://boinc.tbrada.eu/spt/tuples.php?spt=15&p=1
и другим подобным.
У меня были скачаны десятки страниц с проекта Томаша, без проблем!

Сейчас попробую вашу ссылку "без хвостика", вот так
https://boinc.termit.me/adsl/tuples.php?spt=15&p=1

Да, загрузилась без ссылок.

А г. Петухов знает про этот "хвостик"?
Про "хвостик" где-нибудь поясняется?
Почему он тоже пишет, что результаты проекта получить невозможно?
Только ли в "хвостике" дело?
ID: 777 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 778 - Posted: 18 Jun 2024, 8:17:09 UTC

На текущий момент мной рассматриваются различные варианты "как можно ускорить, хоть не много" работу по отгрузке данных.
Наработки есть.
Частично они уже применены.
Но еще не все.
Работаю на этим.

Боюсь, что до окончания проекта вы не сделаете БД результатов доступной.
У вас очень много других очень важных дел!
ID: 778 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 780 - Posted: 18 Jun 2024, 8:38:03 UTC - in response to Message 777.  
Last modified: 18 Jun 2024, 8:42:54 UTC

Когда-то очень давно я Вам объяснял как именно скачивать чистый текст у Томаша.

Я начала работать в проекте Томаша сразу же, как Томаш начал запускать проект, и без вас.
Но это вовсе не значит, что другие люди тоже заходили на сайт Томаша и обсуждали с ним те или иные моменты.
Не правда-ли?

И никогда никаких проблем с загрузкой страниц не возникало!
Все страницы загружались всегда в текстовом формате, без всяких линков.
Вот по такой ссылке
https://boinc.tbrada.eu/spt/tuples.php?spt=15&p=1
и другим подобным.
Повторяю: Мной сделано как у Томаса

У меня были скачаны десятки страниц с проекта Томаша, без проблем!

Сейчас попробую вашу ссылку "без хвостика", вот так
https://boinc.termit.me/adsl/tuples.php?spt=15&p=1

Да, загрузилась без ссылок.

А г. Петухов знает про этот "хвостик"?
Откуда я знаю? Спросите у него сами.

Про "хвостик" где-нибудь поясняется?
Повторяю: И по умолчанию у Томаша открывается именно с линками.
У нас сделано так-же.

Так-же там есть текст "add &ln for clickable html output", который переводится гуглом как "добавьте &ln для интерактивного вывода HTML". По сути покажет с линками.
У нас сделано так-же.

Почему он тоже пишет, что результаты проекта получить невозможно?
Я не знаю что имелось ввиду.

Только ли в "хвостике" дело?
Сложно сказать.
Но трюк с хвостиком был с самого начала.
Т.к. он был применен Томасом, а мной просто повторен.
И на первой странице про этот трюк открыто написано (и у Томаса, и у нас).
Достаточно было просто внимательно прочитать...
ID: 780 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 781 - Posted: 18 Jun 2024, 8:41:08 UTC - in response to Message 778.  

Ну до окончания еще очень далеко.
Так что время есть.

К тому-же, насколько мне известно, у других пользователей особо не возникает проблем со скачкой результатов.
(Это видно технически.)
Качают постоянно.
ID: 781 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 782 - Posted: 18 Jun 2024, 8:44:44 UTC - in response to Message 780.  
Last modified: 18 Jun 2024, 8:59:56 UTC

И на первой странице про этот трюк открыто написано (и у Томаса, и у нас).
Достаточно было просто внимательно прочитать...

На какой первой странице написано?
Ссылку дайте, пожалуйста.

Здесь я ничего про "хвостик" не вижу

# page= 1, count= 737, batch<= 79
# Copyright Tomas Brada, ask on forum about reuse or citation.
# where `start`>=0 and `start`<=1897942944977450369 and kind='spt' and k=15
3945769040698829: 0 12 18 42 102 138 180 210 240 282 318 378 402 408 420
4956528381450799: 0 18 60 90 132 180 222 240 258 300 348 390 420 462 480
5263258173125093: 0 60 66 78 120 126 168 198 228 270 276 318 330 336 396
5348080416833681: 0 18 30 48 60 66 90 108 126 150 156 168 186 198 216
. . . . . . . . . 

И вот окончание первой страницы

. . . . . . . . 
1879361482897284059: 0 48 60 174 240 258 300 354 408 450 468 534 648 660 708
1881836883114682541: 0 42 78 102 108 120 150 210 270 300 312 318 342 378 420
1883152728413159921: 0 6 42 60 72 90 132 186 240 282 300 312 330 366 372
1897942944977450369: 0 18 48 78 84 120 144 174 204 228 264 270 300 330 348
# count = 737
# next: ?spt=15&p=2

И дана ссылка на страницу 2 - без "хвостика".
ID: 782 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 783 - Posted: 18 Jun 2024, 8:47:56 UTC
Last modified: 18 Jun 2024, 8:48:08 UTC

К тому-же, насколько мне известно, у других пользователей особо не возникает проблем со скачкой результатов.
(Это видно технически.)
Качают постоянно.

Угу!
Только у меня и у г. Петухова возникают проблемы.
Уж г. Петухов, кажется, умеет скачивать, и компьютеры у него помощнее моего.
Я в страницы с 16-ми вообще не лезу.
ID: 783 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 784 - Posted: 18 Jun 2024, 8:52:58 UTC
Last modified: 18 Jun 2024, 8:55:32 UTC

Когда-то очень давно я Вам объяснял как именно скачивать чистый текст у Томаша.

Я начала работать в проекте Томаша сразу же, как Томаш начал запускать проект, и без вас.

Но это вовсе не значит, что другие люди тоже заходили на сайт Томаша и обсуждали с ним те или иные моменты.
Не правда-ли?

При чём здесь другие люди???
Вы написали, что мне объясняли, как скачивать чистый текст у Томаша.
А я вам ответила, что скачивала у Томаша все результаты без ваших объяснений и не возникало никаких проблем.
ID: 784 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 785 - Posted: 18 Jun 2024, 9:02:44 UTC

Ну до окончания еще очень далеко.
Так что время есть.

Ха-ха-ха!
Года вам было мало.
Двух тоже не хватит.

А БД результатов должна быть доступна с самого начала работы проекта!
Иначе это не проект.
ID: 785 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 789 - Posted: 18 Jun 2024, 9:23:51 UTC - in response to Message 782.  

И на первой странице про этот трюк открыто написано (и у Томаса, и у нас).
Достаточно было просто внимательно прочитать...

На какой первой странице написано?
Ссылку дайте, пожалуйста.
Пожалуйста:
https://boinc.termit.me/adsl/spt_explore.php


Здесь я ничего про "хвостик" не вижу

Смотрим:
"add &ln for clickable html output (without &ln there will be pure text.)"
Гугл нам переводит как:
"добавьте &ln для интерактивного вывода HTML (без &ln будет чистый текст)."
Повторяю: Сделано как у Томаша и Вы просили делать как у Томаша.


# page= 1, count= 737, batch<= 79
# Copyright Tomas Brada, ask on forum about reuse or citation.
# where `start`>=0 and `start`<=1897942944977450369 and kind='spt' and k=15
3945769040698829: 0 12 18 42 102 138 180 210 240 282 318 378 402 408 420
4956528381450799: 0 18 60 90 132 180 222 240 258 300 348 390 420 462 480
5263258173125093: 0 60 66 78 120 126 168 198 228 270 276 318 330 336 396
5348080416833681: 0 18 30 48 60 66 90 108 126 150 156 168 186 198 216
. . . . . . . . . 

И вот окончание первой страницы

. . . . . . . . 
1879361482897284059: 0 48 60 174 240 258 300 354 408 450 468 534 648 660 708
1881836883114682541: 0 42 78 102 108 120 150 210 270 300 312 318 342 378 420
1883152728413159921: 0 6 42 60 72 90 132 186 240 282 300 312 330 366 372
1897942944977450369: 0 18 48 78 84 120 144 174 204 228 264 270 300 330 348
# count = 737
# next: ?spt=15&p=2

И дана ссылка на страницу 2 - без "хвостика".

Странички сделаны, еще в марте, но пока не заработает в полную силу кеширование - линки ставиться не будут.
Хотя если руками (или программно) подставить другую цифирьку - то работает.
Повторюсь: Вижу что народ уже так выкачивает.
ID: 789 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 791 - Posted: 18 Jun 2024, 9:29:01 UTC - in response to Message 785.  

Ну до окончания еще очень далеко.
Так что время есть.

Ха-ха-ха!
Два раза


Года вам было мало.
До конца марта занимался только поддержкой заданий и решением оперативных вопросов.
Программной частью не занимался.

Двух тоже не хватит.
Да.
Нужно больше.
Я знаю.


А БД результатов должна быть доступна с самого начала работы проекта!
Иначе это не проект.

Она и так доступна с самого начала проекта.
ID: 791 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 797 - Posted: 18 Jun 2024, 9:50:04 UTC

Пожалуйста:
https://boinc.termit.me/adsl/spt_explore.php

Это у вас называется "первая страница"?

Да ничего народ не выкачивает!
Уж если г. Петухов не может скачать, то никакой народ ничего здесь не выкачивает.
ID: 797 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 799 - Posted: 18 Jun 2024, 9:55:56 UTC - in response to Message 797.  

Пожалуйста:
https://boinc.termit.me/adsl/spt_explore.php

Это у вас называется "первая страница"?

Да ничего народ не выкачивает!
Уж если г. Петухов не может скачать, то никакой народ ничего здесь не выкачивает.

Повторюсь еще раз: это не так.
Качают (ну и смотрят конечно) постоянно.
Последняя крупная выкачка была в мае и это не г.Петухов, насколько я понял.
ID: 799 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 802 - Posted: 18 Jun 2024, 10:00:39 UTC - in response to Message 797.  

Пожалуйста:
https://boinc.termit.me/adsl/spt_explore.php

Это у вас называется "первая страница"?
Да. Так-же как у Томаша. А у Вас как-то по другому???
Линк из выпадающего меню ведет именно к ней.


Да ничего народ не выкачивает!
Уж если г. Петухов не может скачать, то никакой народ ничего здесь не выкачивает.

ID: 802 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 805 - Posted: 18 Jun 2024, 10:06:53 UTC

Да. Так-же как у Томаша. А у Вас как-то по другому???
Линк из выпадающего меню ведет именно к ней.

Уверена, что мало кто знает о "выпадающем меню".

Ну, и почему же эта страница, к которой ведёт "выпадающее меню", именно первая!
Как же можно догадаться, о какой странице речь?
ID: 805 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Natalia Makarova
Volunteer moderator
Project administrator
Project developer
Project tester
Avatar

Send message
Joined: 14 Jun 23
Posts: 436
Credit: 280,293
RAC: 0
Message 807 - Posted: 18 Jun 2024, 10:10:05 UTC

Двух тоже не хватит.

Да.
Нужно больше.
Я знаю.

Ещё раз ха-ха-ха!
Через два года проект закончится.
А все "важные дела" не будут поделаны :)
Потому что два года для Demis мало.
ID: 807 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Demis
Project tester
Volunteer developer
Volunteer tester

Send message
Joined: 14 Jun 23
Posts: 275
Credit: 4,129,496
RAC: 5,456
Message 812 - Posted: 18 Jun 2024, 10:31:38 UTC - in response to Message 807.  

Двух тоже не хватит.

Да.
Нужно больше.
Я знаю.

Ещё раз ха-ха-ха!
Через два года проект закончится.
Не закончится.
Кто из нас математик Вы или я ???

А все "важные дела" не будут поделаны :)
Потому что два года для Demis мало.

ID: 812 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
1 · 2 · Next

Message boards : Number crunching : Представление результатов проекта

©2024 Natalia Makarova & Alex Belyshev & Tomáš Brada