Продвинутый поиск изображений насекомых в Сети

Чтобы ответить , надо попробовать. А так навскидку, навряд ли сильно облегчит.

Тоже подозреваю, что не дюже поможет. Уж больно много неадекватных определений в сети и искать там "жемчужное зерно" ... Есть сайты, которым доверяешь, вот ими как правило, и пользуешься. Но Юрий прав - попробовать надо, чтобы уверенно говорить.

Что одни раз лучше увидеть — это понятное дело...

А что, если составить каталог достоверных интернет-источников и сделать так, чтобы сервер искал изображения только в них? Объём материала, конечно, будет меньше, но зато определение будет достоверно на 99% и мусора постороннего не будет. Делать ещё одно подобие Яндекса или Гугла смысла нет, таких поисковиков и так дофига и больше.
Кстати, таким же образом можно будет отладить поиск любых других материалов - книг, статей, фильмов и т. д.

Ой, Иван! Нет в инете абсолютно достоверных. По любому всегда есть сомнения во многих случаях. Просто надо б.м. разбираться самому хотя бы в ограниченной таксономической группе, чтобы оценивать достоверность снимков в сети. Да и количество видов, уверенно определяемых по снимкам, весьма не велико по отношению к их общему числу.

Как я и написал в стартпосте, п.3 — проблема с другими методами решения. Здесь задача побороть пп. 1 и 2, т.е. чтобы система правильно определяла, какой вид/таксон изображен по мнению загрузившего фото или автора сайта. А ошибаются они или нет она, ясное дело, не определит. Так что Иван мыслит в целом в правильном направлении (насчет ограничения сайтов для индексации).

Конечно, ни один сайт от ошибок не застрахован. У меня был случай, когда мою фотографию даже на ЗИНе неправильно переопределили, хотя изначально у меня определение было правильное. Но мой метод позволит свести количество ошибок и мусора к приемлемому минимуму.

Кстати, можно будет сделать так, чтобы ежели у какого вида не хватало фото с нашего сайта, то у него там же и ссылки на фото с других сайтов находились.
И, пожалуй, если в интернете среди иллюстраций к виду найдутся изображения класса "супер", то нужно будет постараться сделать так, чтобы они непременно попадали в самый верх подборки. Потому что такие фото, как, на пример, тут: http://www.zin.ru/animalia/coleoptera/rus/cicflams.htm , с моей точки зрения, должны быть видны всем в первую очередь.

Иван ! А среди каких источников Вы собираетесь, что-то искать ? Прав Евгений, говоря, что их просто нет. Я разговаривал с энтомологами, так они говорят, что все сайты устарели, что давно не обновлялись (по бабочкам). Что очень немного сайтов, по которым можно как-то ориентироваться, но для этого надо знать с чем имеешь дело.....

Повторяю. Рассматриваем проблемы в пп. 1 и 2. П. 3 не рассматриваем.

Источники фото? Diptera.info, Carabidae of the world, Атлас жуков России... Могу дальше перечислять. Их очень немало! А кроме больших сайтов, на которых десятки тысяч фото, есть ещё очень много некрупных, но тоже с хорошим материалом, типа http://coleop123.narod.ru и https://www.flickr.com/photos/coleoptera-us, там тоже точность определения составляет до 99% включительно. Хотелось бы очень макроид в эту подборку ввести, в нём очень много фото, но - там с определением полнейший бардак.

Нет, конечно, можно и макроид в список внести... Но только тогда кто-то должен будет в нем порядок навести на благо нашего сайта. Чтобы в нашем поисковике можно было увидеть фото с макроида, правильно определённые.

Господа, вот здесь, на сайте находится тема по источникам, которые б.м. верные: https://insecta.pro/ru/community/2328
Создана она более пяти лет назад и периодически пополняется :)
Там уже много источников, инфа на которых верна и актуальна ("ручной отбор") :)
Если уж задумано городить свой собственный поиск по картинкам - то по тем ссылкам можно почерпнуть много чего полезного.
Оффтоп:
Пётр, кстати ту тему уже переименовывать пора: сайт ведь поменялся и уже неактуально: ""Аптечка" (разные полезные ссылки по бабочкам.".
Сейчас подойдёт: ""Аптечка" (разные полезные ссылки по насекомым." :)

Василий, из той темы почерпываются источники даже для первой пробной версии поиска ;--)

Господа, потестите предварительную версию поиска изображений: http://ist.insecta.pro
Сейчас пока ищет по ~750.000 фотографиям. Скоро добавим еще столько же.
Замечания:
1. Это не галерея. Это именно поиск по картинкам, которые хранятся на разных сайтах (в т.ч. и на Инсекте).
2. Сейчас ищет без дерева таксонов и без синонимов. Только по названиям, как они даны у фото. Т.е. нормально искать можно по подвидам, видам и родам.
3. При поиске вида нужно вводить название вместе с родом.
4. В выборке фотографий в правом нижнем углу у некоторых снимков будут значки — это пол особи/особей и знак вопроса, если определение под сомнением.
5. При клике на фоту она увеличивается, появляется дополнительная информаци о ней и ссылка, по которой вы можете перейти на страницу сайта, где она расположена.
6. При увеличении фот их можно листать с помощью стрелок или превьюх в нижней части экрана.
7. Обращайте внимание на количество результатов (в больших выборках они бьются по 30 шт. на страницу).
8. Кто с мобильного интернета — сейчас эта вещь довольно жрущая трафик, т.к. в пробной версии превьюхи на самом деле крупнее, чем они показаны на сайте.
Примеры корректных запросов в таксонах:
Papilio — покажет все виды и подвиды Papilio, а также фоты, которые определены до рода/подрода Papilio.
Papilio ma — покажет все, что начинается на Papilio ma, в т.ч. махаона.
Pap — покажет все, что начинается на Pap.
В географии можно вводить все, что угодно. В отличие от таксонов, там поиск идет не по маске Запрос*, а по маске *Запрос*. Кроме того, можно искать просто все фоты любых таксонов для данной местности (ввести запрос только в поле географии, но не таксона).
Пример: можно ввести в географии "нижегор", чтобы попытаться найти фоты интересующего вас таксона из Нижегородской области.

География указана не для всех снимков.
На первой странице будут работать автоподстановки, но ими необязательно пользоваться (в отличие от других полей на сайте). На странице с фотами автоподстановок не будет.

Жду ваших комментов, что понра, что не понра.

З.Ы. Проектом интересуются и спецы по другим группам (не только по насекомым), поэтому потихоньку добавляем и другие организмы в поиск.

Работает, география тоже. В выдаче попадаются и растения, и другие представители, раки например =) Ну я опять напомню о том, что всё вышенаписанное как подсказку надо куда-то на той же странице поиска разместить. Ибо нюансов много; и сам поиск занятие довольно "творческое" )
Мне бы ещё хотелось видеть ссылку на оригинальную страничку. Пока я туда попасть никак не могу. Видна только фотография.

Да, раки там тоже есть, это нормально :--) Подсказку на странице поиска сделаем. Ссылка на оригиальную страницу есть в обязательном порядке под каждой фотографией (увеличиваем и смотрим описание внизу).
Да, еще одно. Где-то указано география на русском, где-то на английском, где-то на обоих. Учитывайте при поиске (особенно по зарубежным локациям).

И еще. Напоминаю. Дерево таксонов сейчас пока игнорируется. Т.е. по запросу, например, трибы найдутся только фоты, которые определены до этой трибы, но не фоты всех дочерних таксонов трибы!

Хмммм... Это всё чрезвычайно интересно... Ничего подобного я ещё не видел. Поисковик уже на этом этапе показывает неплохие результаты, хотя и интерфейс пока недоработан. В перспективе стоит добавить следующие вещи:
- Возможность сортировки изображений по размеру, по источникам, по типу, по точности определения, по стадии/полу.
- Возможность менять определение фотографии в рамках нашего сервера (если окажется, что там, на сайте, определение неверное). То есть на том сайте оно останется прежним, а в поисковике у нас оно будет значится уже под истинным, с нашей точки зрения, определением.
- Возможность комментирования фото.
- Автоподстановку даты/времени (по данным с сайта либо по свойствам фото, причём в приоритете должна стоять датировка с сайта, потому что если это будет фото коллекционного экземпляра, сделанное зимой в камерных условиях, то, естественно, в свойствах фото будет обозначена дата создания файла, а не дата поимки насекомого.
- Возможность просмотра полноразмерного изображения, примерно как в Яндексе (после введения полноразмерного просмотра непосредственно на нашем сайте).

Ещё можно сюда же добавлять и вовсе неопределённые фото. Потому что иногда такие истории случаются... Недавно вот новый вид стрекозы описали. Обнаружили его случайно во время просмотра фильма. http://www.naturalis.nl/en/news/onderzoek/dragonfly-sir-david-90 . А самое интересное, что это - самая натуральная тамошняя банальщина, и в интернете уже масса её фото висела задолго до этого. Но их никто так и не заметил, потому что они размещены где попало, как попало, и, естественно, никто не пытался их определять, поэтому до них докопаться было почти нереально. Если же весь этот хаос упорядочить с помощью нашего поисковика, то найти новый вид по фото будет значительно проще.

Да. И ещё одна проблема: фотографии-клоны. Если автор фото выкладывал свои творения на два сайта и более, то в поисковике они отображаются все. Думаю, в будущем нужно будет сделать, как на яндексе - там все клоны автоматически группируются и в поисковике отображаются в единичном экземпляре. Только для этого потребуется специальная программа, которая будет эти клоны распознавать. И, возможно, более мощный сервер.

Я баг нашёл вот тут: https://insecta.pro/ru/is?cap=&geo=Бразилия
Там некоторые изображения не показываются, при попытке просмотра сайт выдаёт следующее: "The requested content cannot be loaded. Please try again later." При этом ссылки на источник рабочие. И, что самое интересное, все фото, которые cannot be loaded, с нашего сайта, с фотографиями из других сайтов всё нормально.

Сортировка и отбор по этим параметрам будет, да.
Комментирование/определение тоже будет.
Дату/время робот собирает уже сейчас, но данных пока не так много, как по географии. Но тоже будем публиковать.
Сейчас примерно так и сделано, как на Яндексе. Если полноразмер еще больше — и Яндекс, и мы отсылаем к первоисточнику.
Неопределенные — да, в будущем можно, но это вопрос второстепенный по сравнению с точным сбором данных о том, что определено.
Про клоны — само собой, будем регулировать. Но это когда у нас на сайте будут хотя бы превью изображений (как на том же Яндексегугле). Сейчас мы не храним вообще никаких графических данных.
С глюком — знаю. Починим.

В Яндексе можно не только перейти на страницу с изображением, но и выйти на само изображение, а наш поисковик пока делает только первое. Добавить в будущем второе явно есть смысл - просматривать фото станет удобнее (особенно если в источнике фото зажаты в маленькие рамки при большом собственном размере, как в Carabidae of the World), или если требуется быстро просмотреть много фото с разных сайтов (для учёных чем быстрее и проще - тем лучше, т. к. время экономится). Тем более, что эта функция есть во всех топовых поисковиках. Точнее, она есть во всех известных мне поисковиках.

Да, это сделать несложно.

1. Поисковик переехал на новый адрес: http://ist.insecta.pro.
2. Появилась возможность отбора по стадии развития, по полу, по точности (но имейте ввиду, что значения соответствующих свойств указаны далеко не для всех фотографий).
3. В отборе по географии появилось второе поле. Теперь можно выбирать по принципу «или». Например, «екатеринбург» или «свердловск».
4. Обновленный интерфейс со всплывающими окошками и с помощью/справкой для каждого пункта, а также для страницы в целом (см. знаки вопроса в кружках).
5. В параметрах можно назначать свойство «включая неизвестное». Например, можно выбирать фотографии самцов И фотографии, для которых пол не указан, а можно выбирать ТОЛЬКО фотографии самцов.
6. Минимальная длина запроса и для названий таксонов, и для географии — 3 символа.
7. В отсутствие запроса на странице выводится случайная подборка фотографий.

То есть он у нас как бы отдельно от сайта будет?

Отбор не всегда работает. Поиск Cicindela campestris по названию вида и географии (ввёл свою область) - это прошло. А когда я попытался найти их парные фото - вылез пустой результат, хотя у меня две спаривающиеся пары есть и там отмечено, что это именно пары.

То есть он у нас как бы отдельно от сайта будет?
Нет, все будет совмещено, просто временную версию для тестов правильнее будет делать пока независимой.

По поводу парных фот и вообще указания пола — да, был глюк с отображением, сейчас исправил.

Я нашёл ещё один зверский баг. По запросу Phlebodes confixa вся подборка просто пустая, без фото. Я думаю, тут нужно совершенствовать саму программу, которая изображения индексирует.

Да, на сайте, где расположены эти фоты, на часть из фот ведут кривые ссылки. Т.е. сам сайт, видимо, не в курсе, что они кривые. И робот еще не умеет такое определять. Но научим постепенно.
З.Ы. А настолько явная проблема — оттого, что мы пока не храним превьюхи. Но это временно. В стандартном режиме работа будет аналогичной яндексу/гуглу — превьюхи храним у себя, за полноразмером шлем на сайт.

Исправлен глюк, когда фоты с инсекты, у которых не было крупной версии (только 320) не отображались в поиске.

1. На данный момент проиндексировано и доступно для поиска ~2.400.000 фотографий.
2. Искать теперь можно не только по полному названию, но и по краткому (будет работать и Papilio machaon, и machaon).
3. Вывод превьюх стал несколько меньше по весу.

Деревья скоро тоже подключим (пока только для насекомых).

Попробовал поиск. Найдено 28 изображений, но картинок всего 10 показывает. Как ни старался. Хотя когда обновляю страницу, выскакивают картинки и другие, но потом гаснут. А сами картинки должны быть активными? При клике на них ничего не происходит. (браузер Opera).

Александр, ссылку сбросьте на результаты поиска, посмотрю, что не так. Должны показываться все 28 и, само собой, все должны быть активными.

http://ist.insecta.pro/?cap=Aporia+leucodice&geof=&geos=

Оченно странно. Попробовал и в Опере, и не в Опере, все норм открывается. Есть возможность попробовать то же самое в Опере в режиме Турбо и в каком-нить альтернативном браузере?

У меня всё работает. Файерфокс.

Я уже даже через Вивальди попробовал :--)

Александр, попробуйте другой браузер и/или переустановите/обновите свой. Скорее всего, именно в ПО "собака порылась" =)

Добавлено дерево (с Инсекты). Теперь, если вводим запрос "Papilionidae", будут выведены не только фото, бабочки на которых определны до этого семейства, но и фоты с бабочками всех дочерних таксонов (из тех, что есть в дереве). Коль скоро дерево с Инсекты, то и работает оно только для насекомых. Пробовать дерево можно от уровня отряда и ниже.
Добавлено несколько тысяч английских и русских названий, по которым теперь тоже можно искать.

Я обнаружил какие-то непонятные вкрапления. Запрос - Hesperiidae, вторая страница.

А, всё, я понял. Там на сайте не только фото приведены, но и сканы книги и карты с местами находок.

Так и есть. Робот не знает, фота это экземпляра или первоописания или еще чего.

В далёком (или не очень далёком) будущем было бы неплохо научить его текст с картинки распознавать.

Зачем? В подавляющим большинстве случаев полезная часть текста будет дублироваться в явном виде на той же странице.

Ну... Я думаю, в будущем, когда появится аналогичный поисковик по документам, такие фото нужно будет помещать туда, это ведь эксклюзивный материал, все учёные за первоописаниями гоняются, сломя головы.

Да никто ни за чем не гоняется. Сейчас голотип можно через инет переслать. Это раньше использовали почту , либо ездили сами.

Ну тогда ладно.

А тексты-то здесь причем?.. Не догоняю...