Message boards :
Number crunching :
Duplicates in the database
Message board moderation
Author | Message |
---|---|
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
There are duplicates in the database 4810881550260855161: 0 30 42 72 108 138 162 180 198 222 252 288 318 330 360 4810881550260855161: 0 30 42 72 108 138 162 180 198 222 252 288 318 330 360 https://boinc.termit.me/adsl/tuples.php?spt=15&p=1&ln Demis What does it mean? See https://boinc.progger.info/odlk/forum_thread.php?id=236&postid=12426 |
Send message Joined: 14 Jun 23 Posts: 277 Credit: 4,252,056 RAC: 6,940 |
There are duplicates in the database What does it mean? This means that you posted the link ahead of time. I asked you not to publish. Work on the correct display of data has not yet been completed. That's what it means. |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Я не публиковала новые ссылки на БД, пока не обнаружила сегодня дубликаты. Дубликаты не относятся к корректности отображения БД. Это совсем другое. Вопрос 1: как могли появиться в БД дубликаты? Дважды посчитано одно и то же задание? Как такое могло произойти? Вопрос 2: каким образом вы собираетесь избавляться от дубликатов в БД? Никаких секретных данных я не выложила. Ссылки на БД были уже раньше опубликованы, только в другом виде. Сейчас вы изменили формат ссылок. Но это не имеет никакого отношения к дубликатам, они появились явно не от того, что я опубликовала ссылку на БД! Я опубликовала ссылку, чтобы показать наличие дубликатов. PS. Поскольку мы обсуждаем с вами проблемы проекта, прошу вас писать по-русски. У меня нет времени на перевод. Прошу давать ответы на заданные вопросы. |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Кстати, показанные в сообщении дубликаты принадлежат 87-й партии https://boinc.termit.me/adsl/forum_thread.php?id=6&postid=133 Batch 87: 4663878384525935453 .. 5170878384525935453 -1 Это та самая партия, которая была отменена и потому не посчитана полностью, что привело к большому разрыву в БД. Партия должна быть пересчитана. Вам необходимо сейчас удалить из раздачи все задания из этой партии. И дальше думать, как партию пересчитывать. Я вам предлагала свой вариант, но вы его отвергли. Давайте ваш вариант. |
Send message Joined: 14 Jun 23 Posts: 277 Credit: 4,252,056 RAC: 6,940 |
Я в курсе. |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Я знаю, что вы в курсе. Однако почему-то не выполняете работу по ликвидации ошибок. Почему задания из отменённой 87-й партии опять пошли на обработку? И где ответы на вопросы??? Вопрос 1 и Вопрос 2. |
Send message Joined: 14 Jun 23 Posts: 277 Credit: 4,252,056 RAC: 6,940 |
Я не публиковала новые ссылки на БД, пока не обнаружила сегодня дубликаты. Вы точно уверены в этом? Вопрос 1: как могли появиться в БД дубликаты?Да. И что такого? Как такое могло произойти?Легко. Вопрос 2: каким образом вы собираетесь избавляться от дубликатов в БД?А зачем от них избавляться? Какой смысл? Задачи клиентами посчитаны. Баллы за них начислены. Когда выборки из БД для сайта будут скорректированы, поправлен код страничек и прочее, тогда дубликаты будут устранены. Про дубликаты известно достаточно давно, четыре недели точно. В том числе и поэтому я просил НЕ публиковать ссылки. Я не однократно писал, что вижу большинство проблем. И они постепенно решаются. Когда у меня есть на это время. Никаких секретных данных я не выложила. Спасибо. Приятно чувствовать себя дебилом. PS. Поскольку мы обсуждаем с вами проблемы проекта, прошу вас писать по-русски. Ну что-же, опять тратим время на бла-бла-бла... Значит не остается времени на остальное... |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
4810881550260855161: 0 30 42 72 108 138 162 180 198 222 252 288 318 330 360 4810881550260855161: 0 30 42 72 108 138 162 180 198 222 252 288 318 330 360 Это первая пара дубликатов. Нашла вторую пару дубликатов 4668926184724059593: 0 54 96 126 144 150 174 180 186 210 216 234 264 306 360 4668926184724059593: 0 54 96 126 144 150 174 180 186 210 216 234 264 306 360 Эти дубликаты тоже из 87-й партии. Вот это я показывала начало 15-ок https://boinc.progger.info/odlk/forum_thread.php?id=236&postid=12172 # Copyright boinc.termit.me Natalia Makarova & Alex Belyshev & Tomáš Brada, ask on forum about reuse or citation. # where k = 15 4666406644482244939: 0 30 54 60 72 102 144 162 180 222 252 264 270 294 324 4668608454756231113: 0 6 60 66 78 108 120 168 216 228 258 270 276 330 336 4668926184724059593: 0 54 96 126 144 150 174 180 186 210 216 234 264 306 360 4670203462759380361: 0 6 48 60 78 168 210 228 246 288 378 396 408 450 456 4670940446711843819: 0 12 30 42 60 120 144 162 180 204 264 282 294 312 324 4674249496473150613: 0 6 24 66 126 174 204 210 216 246 294 354 396 414 420 4674412638295317041: 0 42 78 108 132 150 168 210 252 270 288 312 342 378 420 4676833976275950493: 0 6 30 60 90 168 186 198 210 228 306 336 366 390 396 4680315810542117987: 0 30 36 54 66 126 156 180 204 234 294 306 324 330 360 4687195403014557721: 0 18 30 36 78 126 150 198 246 270 318 360 366 378 396 4698178170147103919: 0 12 30 54 72 102 114 162 210 222 252 270 294 312 324 4703900946974152459: 0 30 42 60 72 84 120 162 204 240 252 264 282 294 324 4707700354465640039: 0 18 60 114 120 144 180 204 228 264 288 294 348 390 408 4714496467904297783: 0 18 36 48 78 126 210 228 246 330 378 408 420 438 456 4714966817130796361: 0 18 66 78 108 120 186 198 210 276 288 318 330 378 396 4722015405810300463: 0 6 78 120 126 138 210 258 306 378 390 396 438 510 516 4723676393402402747: 0 6 24 36 84 90 114 120 126 150 156 204 216 234 240 4723809310776069691: 0 30 72 132 150 192 210 276 342 360 402 420 480 522 552 4726261530392107691: 0 6 12 90 96 150 192 216 240 282 336 342 420 426 432 4730391288276188201: 0 6 18 36 60 66 108 168 228 270 276 300 318 330 336 4742504223566511223: 0 6 30 96 156 174 180 210 240 246 264 324 390 414 420 4742662574651800177: 0 30 54 66 114 126 186 210 234 294 306 354 366 390 420 4746328144135950793: 0 18 24 54 78 84 120 144 168 204 210 234 264 270 288 4746788867162716807: 0 12 42 60 72 90 132 156 180 222 240 252 270 300 312 4747736280014696767: 0 30 54 60 84 102 120 162 204 222 240 264 270 294 324 4758930350614393951: 0 30 60 78 126 186 216 228 240 270 330 378 396 426 456 4759123534786071779: 0 18 42 48 72 138 228 240 252 342 408 432 438 462 480 4759338917884672651: 0 12 60 162 192 210 228 270 312 330 348 378 480 528 540 # last = 325676 # count = 28 Дубликатов здесь не было! И далее я показывала https://boinc.progger.info/odlk/forum_thread.php?id=236&postid=12191 . . . . . . . . . 4807844197018835663: 0 60 66 78 96 126 150 228 306 330 360 378 390 396 456 4810881550260855161: 0 30 42 72 108 138 162 180 198 222 252 288 318 330 360 4820664617043468577: 0 30 60 66 72 96 102 126 150 156 180 186 192 222 252 4830265975482758617: 0 42 60 156 186 210 240 276 312 342 366 396 492 510 552 4833062297449600853: 0 36 60 78 126 156 168 228 288 300 330 378 396 420 456 4840422072833405621: 0 12 72 120 132 162 168 210 252 258 288 300 348 408 420 4841089890246395623: 0 24 60 66 84 90 144 180 216 270 276 294 300 336 360 4841701800126278963: 0 30 36 66 78 108 156 198 240 288 318 330 360 366 396 4851627309736567981: 0 78 90 102 162 168 192 210 228 252 258 318 330 342 420 4863406299724186099: 0 12 42 48 138 168 198 210 222 252 282 372 378 408 420 4868270358093029417: 0 24 84 90 126 186 204 210 216 234 294 330 336 396 420 # last = 633366 # count = 50 Дубликатов здесь тоже не было! Следовательно, дубликаты появились позже. Сначала в БД всё было правильно, никаких дубликатов. |
Send message Joined: 14 Jun 23 Posts: 277 Credit: 4,252,056 RAC: 6,940 |
Когда возникли дубликаты, ответ: +---------------------+-------+---------------------+----------------------+ | start | batch | Sended_to_Client | Received_from_Client | +---------------------+-------+---------------------+----------------------+ | 4810881550260855161 | 87 | 2023-07-28 15:35:56 | 2023-07-28 16:49:10 | | 4810881550260855161 | 87 | 2023-07-28 15:40:06 | 2023-07-28 16:41:43 | +---------------------+-------+---------------------+----------------------+ 2 rows in set (7.76 sec)И так-же с остальными... |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Когда возникли дубликаты, ответ: То есть дубликаты возникли 28 июля 2023. Я правильно понимаю? А теперь смотрим сообщение https://boinc.progger.info/odlk/forum_thread.php?id=236&postid=12191 Отправлено: 29 Jul 2023, 11:37:38 UTC . . . . . . . . . 4807844197018835663: 0 60 66 78 96 126 150 228 306 330 360 378 390 396 456 4810881550260855161: 0 30 42 72 108 138 162 180 198 222 252 288 318 330 360 4820664617043468577: 0 30 60 66 72 96 102 126 150 156 180 186 192 222 252 4830265975482758617: 0 42 60 156 186 210 240 276 312 342 366 396 492 510 552 4833062297449600853: 0 36 60 78 126 156 168 228 288 300 330 378 396 420 456 4840422072833405621: 0 12 72 120 132 162 168 210 252 258 288 300 348 408 420 4841089890246395623: 0 24 60 66 84 90 144 180 216 270 276 294 300 336 360 4841701800126278963: 0 30 36 66 78 108 156 198 240 288 318 330 360 366 396 4851627309736567981: 0 78 90 102 162 168 192 210 228 252 258 318 330 342 420 4863406299724186099: 0 12 42 48 138 168 198 210 222 252 282 372 378 408 420 4868270358093029417: 0 24 84 90 126 186 204 210 216 234 294 330 336 396 420 # last = 633366 # count = 50 Вы видите здесь дубликаты??? Хорошо, допустим, дубликаты возникли 28 июля, хотя в БД их не было 29 июля. Но почему одно и то же задание было отправлено клиенту/клиентам два раза??? |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
А зачем от них избавляться? То есть как это зачем избавляться? Зачем в БД нужны дубликаты? Когда выборки из БД для сайта будут скорректированы, поправлен код страничек и прочее, тогда дубликаты будут устранены. Про дубликаты известно достаточно давно, четыре недели точно. Каким образом дубликаты будут устранены? Сами собой устраняться? Про дубликаты известно достаточно давно, четыре недели точно. Где об этом говорилось? Ссылку, пожалуйста, дайте. Я до сегодняшнего дня дубликатов не видела. В приведённых выше фрагментах дубликатов нет. |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
В том числе и поэтому я просил НЕ публиковать ссылки. Ещё раз повторяю: дубликаты не имеют никакого отношения к страничкам и тому подобному, связанному с отображением БД. Дубликаты появились не из-за причин отображения БД! ОНИ ПОЯВИЛИСЬ! К большому сожалению, проблемы не решаются, а появляются всё новые. Например, с 87-й партией. |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Вопрос 1: как могли появиться в БД дубликаты?Да. И что такого? Не понимаю! Зачем повторно отправлять на обработку задание, которое правильно посчитано и за него уже начислены баллы??? Так можно и 10 раз одно и то же задание отправить на обработку! Легко! |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Ну что-же, опять тратим время на бла-бла-бла... Я, кажется, уже говорила вам по поводу "бла-бла-бла". Вы несколько дней не отвечали на мои вопросы. И что вы сделали за это время? Какие проблемы решили? Появилась только ещё проблема - с заданиями из 87-й партии. Вы даже ещё и не видели эту проблему, хотя она висит в вашей же задаче! И ещё проблема - с дубликатами в БД. Проект не работает нормально. Проблем куча, и они не решаются! Например, проблема с ликвидацией разрыва в БД. Разрыв возник в 87-й партии. Сейчас считается 103-я партия. И когда же будет решаться проблема с необработанной партией? Если вы и дальше будете так решать проблемы (да ещё и упрекать меня в том, что я отвлекаю вас на пустую болтовню), вам придётся оставить проект. Если у вас нет времени на проект, вам надо его оставить. Я просила вас запустить проект. Вы его запустили. Хотя запустили из рук вон плохо. Поэтому спасибо не говорю. Устранять ошибки вам некогда. Значит, откажитесь. |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Demis Ещё раз: ссылку на сообщение о дубликатах в БД дайте, пожалуйста. Когда это стало известно и где об этом сообщалось? Или это было известно только вам, и вы нигде это не сообщали? Ну, если было известно только вам, приведите, пожалуйста, примеры известных вам дубликатов в БД. |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Это рассуждения вслух. Demis можете на это сообщение не отвечать (берегите ваше драгоценное время!). Может быть, одно и то же задание отправлялось два раза из-за кворума=2? Просто моя гипотеза. Но в таком случае результаты от двух одинаковых заданий в БД должны записываться ОДИН РАЗ. |
Send message Joined: 14 Jun 23 Posts: 438 Credit: 280,293 RAC: 0 |
Проверила на дубликаты 13-ки. Из 31762 кортежей, показанных сейчас на странице результатов, 31561 уникальных. Таким образом, 201 кортеж повторен. Demis писал Когда выборки из БД для сайта будут скорректированы, поправлен код страничек и прочее, тогда дубликаты будут устранены. Ждём. По-прежнему считаю, что появление дубликатов - это результат обработки 87-й партии с кворумом=2. Примеров дубликатов из других партий приведено не было, хотя я просила их привести. Вполне возможно, что в других партиях дубликатов нет (потому что другие партии обрабатывались с кворумом=1). Дубликаты сами собой не устранятся, их придётся ручками устранять. Ну, или каким-нибудь скриптом. |
©2024 Natalia Makarova & Alex Belyshev & Tomáš Brada