Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр
«Дурак подкидной и переводной» — классика карточных игр! Яркий геймплей, простые правила. Развивайте стратегию, бросайте вызов соперникам и станьте королем карт! Играйте прямо сейчас!

Дурак подкидной и переводной

Карточные, Настольные, Логическая

Играть

Топ прошлой недели

  • AlexKud AlexKud 38 постов
  • SergeyKorsun SergeyKorsun 12 постов
  • SupportHuaport SupportHuaport 5 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня

IT + Большие данные

С этим тегом используют

Программирование IT юмор Программист Юмор Работа Картинка с текстом Разработка Аналитика Данные Искусственный интеллект SQL Анализ данных Технологии Все
18 постов сначала свежее
WhiteHats
WhiteHats
3 года назад

Поменяли телефон? Пройдитесь, мы вас вычислим⁠⁠

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

С точки зрения биологии, человек — это существо вида Homo sapiens, обитающее на планете Земля. Как и у многих других представителей фауны, у людей имеются определенные внутривидовые общие черты, как физиологические, так и поведенческие: двуногие, двурукие, двуглазые, прямоходящие, мыслящие, и т.д. и т.п. При этом внутри нашего вида сильно развито то, что в других видах порой сложно заметить, а именно индивидуальность, которая также затрагивает и физиологию, и поведение. Рассматривая отличия, которые не требуют длительного диалога для их выявления, можно выделить внешность, голос, мимику и, конечно же, походку. Основа метода перемещения человека в пространстве одна для всех, но вот исполнение варьируется от индивида к индивиду. Я уверен, что многие из вас часто узнавали кого-то из родных или знакомых на улице по походке прежде, чем разглядеть лицо человека или как он одет. Ученые из университета Плимута (Великобритания) предложили интересную идею: если походка человека так индивидуальна, как и его лицо или отпечатки пальцев, то ее можно использовать для верификации его личности на смартфонах. Насколько сильны отличия между походками, как смартфоны собирали о них данные, и насколько безопасна система верификации на базе походки? Ответы на эти опросы мы найдем в докладе ученых. Поехали.

Основа исследования


Когда-то наличие стационарного телефона в доме считалось признаком роскоши или важного положения в обществе. Сейчас же эта технология стоит на грани вымирания (если говорить про нас, обычных пользователей). На ее место пришли мобильные телефоны, которые с годами трансформировались в смартфоны, больше напоминающие компьютеры в кармане нежели средство банальной голосовой связи.


На данный момент пользователями смартфонов являются примерно 6.378 миллиарда человек. Широкий спектр функционала смартфонов позволяют нам выполнять с их помощью множество действий, для которых ранее потребовалось бы несколько отдельных устройств. Мы можем передавать файлы, смотреть видео, общаться в текстовом/голосовом/видео формате, записывать аудио, делать снимки и т.д. Многие из приложений, присутствующих на современных смартфонах, работают с деликатной информацией пользователя, в частности с его личными данными, которые могут использоваться для проведения, к примеру, банковских операций. Логично, что такие данные необходимо хранить в секрете, а самому приложение при запуске необходимо удостовериться что тот, кто его запускает, является тем, кем он представляется. Другими словами, необходима верификация личности, т.е. аутентификация. Смартфоны также нуждаются в подтверждении личности пользователя, ибо в их памяти также имеется масса личной информации, не относящейся к какому-то определенному приложению.


Самым простым методом аутентификации, конечно же, является пароль. Человек вводит свой логин+пароль и получает доступ к устройству/приложению/сайту и т.д. Но этот метод сложно назвать «железобетонно» безопасным. Посему нет ничего удивительного, что с развитием технологий появилась возможность подтверждать личность, используя свои биологические индивидуальные особенности. И первыми стали отпечатки пальцев.


Пароли и отпечатки требуют непосредственного акта предоставления этой идентификационной информации устройству (пароль нужно ввести, а палец к кнопке приложить). К тому же безопасность все еще не на высоте, даже при использовании отпечатков.

Посему, дабы повысить безопасность и удобство пользования, были предложены так называемые TAS (transparent authentication schemes) методы аутентификации, т.е. прозрачные. Их также часто именуют активной аутентификацией или неявной аутентификацией. Примером этого метода является распознавание лиц. Вместо того, чтобы обеспечивать аутентификацию в точке входа (или запроса), эти методы сохраняют непрерывную уверенность в личности пользователя и используют эту, когда пользователь запрашивает доступ. Грубо говоря, пока вы смотрите на смартфон, он смотрит на вас и постоянно проверяет, вы ли это.


Однако для того, чтобы это метод был действительно непрерывным, важно чтобы TAS мог использовать ряд разных биометрических модальностей, поскольку пользователи могут предпринимать действия, в которых те или иные биометрические методы могут быть недоступны. К примеру, гипотетическая система, которая распознает вас по лицу, которое вы ему показали во время первой настройки этой функции. Насколько точно и непрерывно система будет работать дальше, если ваше выражение лица меняется постоянно?


Этот вопрос является основой многих исследований, которые пытаются понять, как изменчивость биометрических модальностей может влиять на верификацию личности. Одним из возможных вариантов решения этих проблем является метод аутентификации по распознаванию походки. Многие исследования в области психологии, медицины и биометрии показывают, что походка каждого человека уникальна («Smartphones and Biometrics: Gait and Activity Recognition»), и ее можно успешно использовать в качестве прозрачного метода для идентификации.


В настоящее время большинство смартфонов имеют встроенные датчики (например, акселерометр и гироскоп), которые можно использовать для записи информации о походке пользователя. Для аутентификации пользователю не нужно совершать каких-то явных действий, поскольку устройство постоянно получает верификационные данные, пока он идет, скажем, на работу или в супермаркет.


Ранее уже проводились исследования возможности использования мобильного устройства для распознавания походки («Inertial Sensor-Based Gait Recognition: A Review»). Однако, как отмечают ученые, все предыдущие исследования проводились в строго контролируемой среде (к примеру, ходьба по плоской поверхности в обычном темпе). А это разительно отличается от реальности, когда темп походки может варьироваться, как и рельеф местности.

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

Изображение №1: схема принятия решения относительно верификации пользователя по его походке.


Посему авторы рассматриваемого нами сегодня труда решили провести свои опыты, но уже в условиях реального мира. Данные о походках людей собирались в течение 7-10 дней с использованием реальных смартфонов и с участием людей, занимающихся своими повседневными делами.


Подготовка к опытам


Во время исследования были получены данные о движении как с гироскопа, так и с акселерометра. Гироскоп используется для поддержания исходного направления движения, определяя степень ориентации смартфона в направлениях x, y и z. На осевой сигнал влияет направление ориентации устройств. Акселерометр измеряет ускорение смартфона (м/с2) в направлениях x, y и z. Для записи данных от датчиков использовалось приложение AndroSensor (на базе Android).

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

Изображение №2: расположение смартфона на теле испытуемого в ходе экспериментов


Участники испытаний использовали Samsung Galaxy S6, занимаясь своими обычными делами, положив телефон в чехол на поясе (фото выше).


Ученые отмечают, что такое положение телефона не является универсальным для всех людей, однако для чистоты эксперимента и получения более точных данных было решено, что устройство будет в одном положении у всех испытуемых (по крайней мере в рамках этого исследования).


Сгенерированные данные собирались непрерывно с частотой 30–32 Гц для осей x, y и z как для датчиков акселерометра, так и для датчиков гироскопа. Участники в начале дня запускали приложение AndroSensor, собирающее данные, а в конце дня его отключали.


В сборе данных приняли участие 44 человека (23 мужчины и 21 женщина) в возрасте от 18 до 50 лет. Сбор данных для каждого пользователя длится от 7 до 10 дней.

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

Изображение №3: среднее время ходьбы в день для всех испытуемых (в минутах).



После обработки собранных данных было получено общее количество образцов каждой походки (таблица ниже), классифицированных с помощью модели идентификации активности.

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

Процентное распределение выявленных походок.


Используя модели идентификации активности, ученые определили наличие в общей сложности 174396 образцов, в среднем 3963 образца походки на испытуемого.


Анализ данных от гироскопа и акселерометра дали возможность выявить определенные характерные черты походок (304 уникальных черт), которые в дальнейшем применялись для определения походки того или иного испытуемого. Это можно сравнить с выявлением особенностей отпечатка пальца.


В ранних трудах было предложено сразу несколько вариантов классификаторов, необходимых для верного распределения уникальных черт между испытуемыми. В данном же исследовании ученые решили использовать метод многослойного перцептрона с прямой связью (FFMLP от feed-forward multilayered perceptron). Для каждого идентифицированного движения оценивались одиннадцать различных конфигураций нейронной сети FFMLP. Для каждой классификации один испытуемый играл роль авторизованного пользователя, а все остальные испытуемые были неавторизованными.

Результаты исследования


Первый набор результатов был направлен на изучение вектора характеристик и влияния на производительность. Как и ожидалось, чем больше характеристик походки (отличительных черт) использовалось, тем выше была производительность системы. Это верно в отношении всех трех видов походок: нормальной, быстрой и комбинированной.

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

Число конфигураций, выявленных в ходе наблюдений.


В ранее проведенных исследованиях с использованием контролируемых данных результаты продемонстрировали, что динамический вектор признаков от 10 до 160 обеспечивает наилучшую производительность классификации, тем самым обеспечивая высокую степень распознавания.

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

Средние значения коэффициента EER (равный уровень ошибок) для разных типов походки (нормальной, быстрой и комбинированной).


В большинстве случаев значения EER были достаточно низкими, что говорит о высокой точности системы распознавания походок.

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

Изображение №4


Были, конечно, и исключения: у испытуемого №30 в ходе наблюдений показатель EER ухудшился на 10% (EER 46.80%). Анализ его действий показал, что это связано с быстрой ходьбой, которой было больше. Однако, большая часть испытуемых показала EER менее 10%. А испытуемый №29 так и вообще показал невероятный результат в 1.94%. Двенадцать испытуемых показали значения EER менее 5%, а шестеро — более 20%.


Совокупность этих данных говорит о том, что метод верификации через походку вполне работоспособен. Те случаи, когда значения EER были на неудовлетворительном уровне, объяснялись либо частой сменой типа походки, либо частым использованием лестниц (что пока не учитывалось в исследовании).


Как уточняют авторы исследования, в схеме непрерывной аутентификации нет такой критически важной составляющей, как принятие решения по верификации на основании однократного ввода данных. Другими словами, в отличие от паролей (один образец), непрерывная аутентификация постоянно получает данные. Т.е. при достаточной частоте выборок можно принять окончательное решение на основе ряда выборок.


В качестве метода принятия решения был использован метод мажоритарного голосования*.

Поменяли телефон? Пройдитесь, мы вас вычислим Наука, Исследования, Научпоп, Ученые, IT, Большие данные, Слежка, Шаги, Длиннопост

Таблица результатов мажоритарного голосования для всех наборов выборки всех видов походки.


Мажоритарное голосование* — для задачи классификации класс, предсказываемый каждой моделью, можно рассматривать как голос, а класс, который получает большинство голосов, является ответом модели ансамбля.

Сравнение с предыдущими работами, где анализировались данные, полученные в контролируемых условиях, показало, что работа системы распознавания в реальных условиях не уступает своим предшественникам в точности и производительности.


Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.


Эпилог


В данном труде ученые решили проверить, можно ли распознавать людей по их походке, используя смартфон. Учитывая, что каждый из нас обладает своей уникальной походкой, неудивительно, что такое возможно. В ходе исходных данных использовались данные с акселерометра и гироскопа смартфонов, которые испытуемые носили с собой пока занимались своими обычными делами. Далее из этих данных были выделены отличительные особенности, позволяющие определять того или иного испытуемого.


Затем ученые провели испытание, входе которого лишь один испытуемый из выбранного числа был верифицированным пользователем. Система распознавания смогла успешно определить, кто именно из испытуемых имеет право доступа, используя при этом исключительно данные о походке. Средние значения EER (чем оно ниже, тем точнее распознавание) составили 11.38% для медленной ходьбы и 11.32% — для быстрой. Лишь при частом использовании лестниц эти значения возрастали до 24.52% (при подъеме) и 27.33% (при спуске). Этот аспект необходимо детальнее изучить в дальнейшем, говорят ученые, дабы повысить точность системы распознавания и расширить спектр анализируемых данных.


Авторы исследования заявляют, что распознавание походки является ненавязчивым, пассивным методом аутентификации, который не требует от пользователя каких-либо активных действий (ввода пароля, прикладывания пальца к сканеру и т.д.). Конечно, сам по себе метод сложно назвать идеальным и универсальным решением. Однако, в совокупности с другими инструментами непрерывной аутентификации он может стать частью комплексного метода, который будет совмещать в себе анализ различных биометрических данных, являющихся уникальными для каждого из нас, в отличие от классических паролей.


В будущем ученые намерены продолжить работу над своим детищем, поскольку необходимо проверить его работоспособность на разных устройствах, учесть множество ситуаций, когда походка человека может сильно меняться (к примеру, подъем/спуск по лестнице, вынужденное использование костылей и т.д.), а также оптимизировать число необходимых для успешного распознавания характерных черт.


Пока что подобного рода технологии находятся на начальном этапе развития, но это не значит, что они не имеют права на существование. Ведь когда-то и верификация по отпечатку пальца тоже была лишь идеей, сейчас же это обыденность.


Благодарю за внимание, оставайтесь любопытствующими и хорошей всем рабочей недели, ребята :)

Источник

Гов**канал по IT, Big Data итд

Показать полностью 8
Наука Исследования Научпоп Ученые IT Большие данные Слежка Шаги Длиннопост
3
9
DELETED
3 года назад
Искусственный интеллект

Хочу в ИИ и Big Data⁠⁠

Народ, подскажите. Имею навыки программирования С++, Python. SQL. Всё надоело, хочется какую-то нишу занять. Интересует ИИ и Big Data.
Подскажите, есть ли в данных областях возможность работать фрилансом?
Что почитать, с чего начать? Где и после какого момента искать работу? Насколько высокий порог вхождения.

[моё] Искусственный интеллект Большие данные Работа Обучение Программирование IT Текст
18
107
NeuroLabAlgorith
NeuroLabAlgorith
4 года назад
MS, Libreoffice & Google docs

Базы данных - почему бизнес их боится / избегает⁠⁠

Базы данных - почему бизнес их боится / избегает IT, Цифровые технологии, Технологии, Microsoft Excel, База данных, Данные, Анализ данных, Большие данные, Утечка данных, Хранение данных, Прогресс, SQL, Postgresql, Postgres

Раньше странно было наблюдать, почему при автоматизации бизнес процессов заказчики боятся баз данных


Цепляние за эксель у многих происходит до последнего


Вроде бы уже все, можно отпустить и двигаться дальше. Но нет. Давайте лучше эксель


Потом понял, что они даже по своему правы

Эксель для них это последний бастион, где они еще удерживают ситуацию под контролем. Можно залезть ручками в файл, настроить фильтры, поковыряться. Если надо, то что-то подправить в формулах и связях между таблицами

Переход к базе данных это следующий уровень сложности, знаний для контроля над которым просто нет


Тут они уже нутром понимают, что обратной дороги не будет. Придётся зависеть от этих мутных ИТ-шников, с их sql запросами и прочей магией


А главное - не понятно где данные и как понять, что они защищены

В экселе - все понятно, вот файл, в нем закладки с табличками


А база данных это где?


Еще хорошо если на локальном сервере. По крайне мере может покажут стационарный комп с мигающими лампочками. В мозгах может появится успокаивающая ассоциация, что этот ящик и есть база данных. Тогда его можно в охраняемую комнату запереть и спать спокойно.

А если база данных в "облаке"?


В газетах вон постоянно пишут про хакеров и как из облаков данные утекают


Нет, нам такой прогресс не нужен. Лучше эксель

Тут все надежно, проверено мудростью предков, и есть панацея от всех проблем: ctrl+alt+delete

Показать полностью
[моё] IT Цифровые технологии Технологии Microsoft Excel База данных Данные Анализ данных Большие данные Утечка данных Хранение данных Прогресс SQL Postgresql Postgres
38
FlatRat
FlatRat
4 года назад
Информационная безопасность IT

Интервью с Артуром Хачуяном: специалистом по BIG DATA⁠⁠

Интервью со специалистом по BIG DATA, который искал террориста Санкт-Петербургского метро, шарит за анализ соцсетей и анализ открытой информации.

Считает, что анализ бигдаты начинается от петабайта.

ТАЙМКОДЫ:

00:00 – В этом выпуске

00:30 – В гостях Артур Хачуян, чем он занимается?

01:19 – Что такое «большие данные»?

05:25 – Практическое применение Big Data

08:55 – Какие источники информации вы исследуете?

10:39 – Сбор данных с точки зрения закона

13:01 – Как Артур стал работать с Big Data?

21:30 – Реальный процент поддержки Лукашенко

22:45 – «Сейчас мы с социологами не ругаемся»

24:14 – «Человек в реальности и в соцсетях – это разные люди»

26:52 – Мем «Саша 3%»

28:45 – Кто заказывает обработку Big Data?

29:52 – Модель скоринга расходов людей

31:22 – «Мы создаем алгоритмы по анализу и структурированию информации»

32:47 – Задержания убийц и идентификация личности

34:50 – Алгоритмы и скрипты по поиску информации

36:26 – Основной заказчик и алгоритмы звезд TikTok

39:50 – «Теория коллективного интеллекта»

42:19 – «Основная проблема поколения – отсутствие критического мышления»

45:57 – «Ход королевы»

46:32 – «Бухает на камеру и его смотрят»

47:26 – Количество геев и лесбиянок в мире

51:20 – Отношение к Пу, продолжение следует...

Показать полностью
Интернет Безопасность IT Большие данные Анализ данных Интервью Видео
3
96
sngisback
sngisback
5 лет назад
Искусственный интеллект

О Big Data - просто или Почему вам кажется, что телефон тайно записывает ваши разговоры⁠⁠

О Big Data - просто или Почему вам кажется, что телефон тайно записывает ваши разговоры Большие данные, Amazon, IT, Рептилоиды, Слежка, Финансы, Деньги, Длиннопост

Вообще я пишу о том, что я в 30 лет уже откладываю на пенсию и о том, как я это делаю (об этом - следующий пост).

А этот пост на отвлечённую тему.

Big Data по моему мнению – самый недооцененный широкими массами ресурс, но при этом справедливо оцененный большими и «умными» деньгами. Такая золотая руда информационной эры, если позволите, к которой человечество только начинает подбирать технологии для обработки и получения чистого золота.

О Big Data - просто или Почему вам кажется, что телефон тайно записывает ваши разговоры Большие данные, Amazon, IT, Рептилоиды, Слежка, Финансы, Деньги, Длиннопост

Я опущу скучную и базовую историю о том, как это работает, что такое ETL, и прочие пайплайны, хадупы и машинные обучения. Это слишком сложно и слишком неинтересно для широкой публики, тем более что статей на эту тему – вагон и целая тележка, кто захочет, тот найдет, просто вбив в гугл «как работает Big Data».

А здесь разговор о том, как крупные корпорации анализируют Big Data при помощи пространственного анализа, чтобы повысить эффект от рекламы (сделать больше продаж, повысить выручку и прибыль). Я не нашёл на этот счет ни одной интересной статьи, поэтому пришлось написать весь материал самому.

О Big Data - просто или Почему вам кажется, что телефон тайно записывает ваши разговоры Большие данные, Amazon, IT, Рептилоиды, Слежка, Финансы, Деньги, Длиннопост

Для начала приведу пару цифр для осознания МАСШТАБА больших данных сейчас в мире: за 48 часов распродажи Amazon Prime Day 15-16 июля 2019 было произведено 7,11 триллионов обращений к базе данных, продано 175 миллионов товаров, проведено 15,5 миллионов банковских транзакций. Данные генерируются каждый день без выходных и перерывов, и эти данные уже сейчас стараются обрабатывать, фильтровать, извлекать какую-то пользу.

Как же это можно использовать? Возьму пример, пришедший первым в голову. Возьмем частный сектор города N-ска. Amazon, анализируя массив транзакций, замечает: в летние дни жители района начали лавинообразно просматривать и заказывать средства против комаров. Пользователи на карте помечены тремя цветами: зелёным – уже купил средство, жёлтым – перешел на страницу и просматривал, но не купил, серым – ещё не интересовался средствами против комаров.

О Big Data - просто или Почему вам кажется, что телефон тайно записывает ваши разговоры Большие данные, Amazon, IT, Рептилоиды, Слежка, Финансы, Деньги, Длиннопост

Наложив данные на буфер в 250 метров от близлежащих водоемов, где плодятся комары, Amazon видит прямую зависимость. Проведя анализ и отфильтровав данные, Amazon получает список из 106 юзеров, которым при последующем визите на сайт, настойчиво рекомендует средства от комаров.

О Big Data - просто или Почему вам кажется, что телефон тайно записывает ваши разговоры Большие данные, Amazon, IT, Рептилоиды, Слежка, Финансы, Деньги, Длиннопост

10 из 106 юзеров ни разу не вбивали в поиск ничего такого, но при этом за ужином говорили родным, что комары достали, надо бы купить какие-нибудь средства. Садясь за компьютер, они видят рекомендуемый товар и нервно проверяют, заклеена ли камера на телефоне и косятся на умную колонку Алексу, в мыслях проклиная корпорации и спецслужбы, занимающиеся прослушкой разговоров и самих себя за слабость и недальновидность, выразившуюся в покупке этих шпионских девайсов. А на самом деле всё гораздо проще (или сложнее - смотря с какой стороны). Ваши соседи рассказали Амазону о ваших потребностях вместо вас.

О Big Data - просто или Почему вам кажется, что телефон тайно записывает ваши разговоры Большие данные, Amazon, IT, Рептилоиды, Слежка, Финансы, Деньги, Длиннопост

Amazon в примере взят неспроста, и даже не потому что это топ-3 публичная компания по капитализации в мире. Посмотрите на количество опубликованных вакансий от компаний на LinkedIn по тегу «Big Data». Я проанализировал только компании из топ-100 S&P500, в выборку попали компании с 100+ вакансий. Из интересного – Amazon с 2468 вакансиями кратно превышает всех остальных, а если смотреть по всем дочерним компаниям и стартапам типа Amazon Robotics, то там под 4000 вакансий. Удивили банки (JPM на втором месте, а еще в выборку попали GS и BAC). Удивил IBM. Я прекрасно понимаю, что это нерелевантная выборка, потому что взят только один ресурс, явно не основной для публикации вакансий, и потому что она учитывает вообще вакансии, а не существующий уже в компании штат разработчиков и инженеров, но тем не менее. Если вы знаете, напишите мне пожалуйста, где бы взять актуальные данные.

---

P.S.: Тег - моё, был бы рад не тратить время, но я не нашел адекватных интересных статей о применении больших данных, написанных не для профессионалов, поэтому начал думать и искать информацию самостоятельно. Я веду свой канал в Telegram, если ссылка блокируется, найти меня нетрудно, вбив в телеграме в поиск: @finindie. На канале в основном интересный контент о том, как я коплю на пенсию, но есть и такой контент о компаниях, в которые я верю и вкладываю пенсионные деньги.

Показать полностью 5
[моё] Большие данные Amazon IT Рептилоиды Слежка Финансы Деньги Длиннопост
24
Gerranna
6 лет назад

Остров 10-20⁠⁠

С 10 по 21 июля на острове Русском, с подачи Университета Национальной технологической инициативы, пройдет интенсив, рассчитанный на 1000 участников со всей России.

Если пикабушникам будет интересно — буду по мере свободного времени писать, что и как. Остров10-20, как я понимаю, это как "Лидеры России", только для айтишников, роботостроителей, датасайентистов и т.д.

У меня интерес возник, когда читала интервью с Дмитрием Песковым (АСИ, Цифровая экономика, Национальная технологическая инициатива и т.д.).

"Такой же невероятной плотности будет и учебный процесс. Он не для слабаков. У нас нет шансов выиграть глобальную конкуренцию напрямую, хотя бы потому, что нас в разы меньше, чем китайцев или индусов. Нас мало, но мы должны быть в цифровых тельняшках…

В обучении будет присутствовать, в том числе и развитие телесных практик — большую программу для нас делает Тихоокеанский флот.

— Что такое "телесные практики"?

— Это от навыков йоги до марш-бросков, концентрация внимания, выполнение совместных боевых задач с дельфинами… Будет все.

— Это как прыжки со скалы для будущих губернаторов?

— Только более серьезно и более системно. Каждое утро с шести до девяти утра тысяча студентов попадает на этот трек и проходит суровые испытания на острове Русский в самых невероятных форматах. Кстати, учебный процесс длится с шести утра до двенадцати часов ночи. Сначала это занятия с Тихоокеанским флотом, потом — с носителями передовых компетенций от сенсорики до анализа больших данных (в этом нам помогают и университеты, и ведущие компании цифровой экономики), а затем — так называемое цифровое ГТО."

Дельфины… Тихоокеанский флот…, ну… посмотрим, в общем.

Пока впечатление такое:

Остров 10-20 Остров, Робототехника, IT, Большие данные, Длиннопост

На тему отбора…

Тестирование я проходила по ссылке, присланной на универскую почту.

Но сейчас это может сделать любой желающий. На этот год, можно было только среди россиян. Дальше хотят со всего мира собирать.

Прохождение каждого этапа занимало часы. Было и несколько игр.

На некоторых этапах можно было проходить несколько раз, но мне это не помогло, поскольку "заходила на этап" впритык.

Отбор проводил ИИ, но потом, в чате, мы выяснили, что некоторые участники ограничились первым этапом, посему критерии отбора остались загадкой.

Сколько всего подавало заявок, не понятно, но 1 этап прошло 3000.

По результату отбора присылают профиль, где расписаны твои поведенческие паттерны, ключевые мотиваторы, компетенции, и рекомендуемые направления развития по ссылкам. С рекомендациями можно не соглашаться и выбрать что-то другое.

В зависимости от выбора ИИ формирует личное расписание для каждого и присылают более развернутое описание того, что ожидает, например, если выберешь направление Дата-аналитик:

Остров 10-20 Остров, Робототехника, IT, Большие данные, Длиннопост

Некоторые островитяне уже на месте. 11-14 градусов, пасмурно. Общаются с местными лисичками.

Остров 10-20 Остров, Робототехника, IT, Большие данные, Длиннопост

В общем, мы взлетели. 9000 км. До Ына рукой подать.

Остров 10-20 Остров, Робототехника, IT, Большие данные, Длиннопост
Показать полностью 4
[моё] Остров Робототехника IT Большие данные Длиннопост
12
5
ShitPoster85
ShitPoster85
7 лет назад

Новый алгоритм превращает аудиозапись в реалистичное видео⁠⁠

Группа компьютерных специалистов Университета Вашингтона разработали уникальные алгоритмы, которые решают сложную задачу в области компьютерного зрения: превращают аудиоклипы в реалистичные видео человека, говорящего эти слова.



В новой разработке, которая будет представлена 2 августа на SIGGRAPH 2017, исследователи во главе с Ira Kemelmacher- Shlizerman создали высокореалистичное видео с бывшим американским президентом Обаме, используя аудиоклипы его выступлений и существующие видеоролики.



Kemelmacher- Shlizerman говорит: «Эти результаты никогда не достигались раньше. Реалистичное преобразование аудио в видео имеет практические приложения, такие как улучшение видеоконференций, а также футуристические возможности, например беседа с исторической фигурой в виртуальной реальности, когда визуальные эффекты создаются только из аудио».



В визуальной синхронизации губ, система преобразует звуковые файлы речи человека в реалистичные формы рта, которые затем смешиваются с лицом этого человека из другого существующего видео. «В будущем видео чат-инструменты, такие как Skype или Messenger, позволят всем собирать видео, которые можно использовать для обучения компьютерным моделям», говорят создатели аолгоритма.



Поскольку потоковое аудио через Интернет занимает гораздо меньше полос пропускания, чем видео, новая система имеет потенциал для прекращения видеочатов, которые постоянно выходят из строя из-за слабых соединений. «Когда вы просматриваете Skype или Google Hangouts, часто картинка остает, но часто звук довольно хорош», говорит Allen Steve Seitz. «Поэтому, если бы вы могли использовать звук для создания видео более высокого качества, это было бы потрясающе».



Новый инструмент машинного обучения значительно продвинулся в преодолении того, что известно как проблема «сверхъестественной долины». Когда синтезированные человеческие сходства кажутся почти реальными, но люди находят их жуткими. Раньше процессы преобразования аудио-видео включали съемку нескольких человек в студии, которые повторяли одни и те же предложения снова и снова, чтобы попытаться зафиксировать, как определенный звук коррелирует с разными формами рта, что является дорогостоящим, утомительным и трудоемким. В отличие были разработаны алгоритмы, которые могут учиться на видеороликах, которые существуют в Интернете или в других местах.



Один из создателей новой техники, Supasorn Suwajanakorn поясняет: «Есть миллионы часов видео, которые уже существуют из интервью, видеочатов, фильмов, телевизионных программ и других источников. И они очень хорошо подходят для эти алгоритмов».



Новый процесс синхронизации губ позволил исследователям создать реалистичные видео с Обамй, который выступал в Белом доме, используя слова, которые он говорил на телевизионном ток-шоу или в интервью несколько десятилетий назад.



Авторы добавили: «Вы не можете просто взять чей-то голос и превратить его в видео с Обамой. Мы сознательно решили не идти по пути ввода чужих слов в чей-то рот. Мы просто принимаем реальные слова, которые кто-то говорил, и превращая их в реалистичное видео этого человека».

Источник: http://nauka24news.ru/?p=11912

Показать полностью
Барак Обама IT Большие данные Generation п Видео Длиннопост
10

Попробовать мобильный офис

Перейти
Партнёрский материал Реклама
specials
specials

Мобильный офис до 100 тысяч рублей⁠⁠

Ноутбуки используют не только для работы: на них смотрят сериалы, редактируют фото, запускают игры и монтируют ролики. Поэтому теперь требования к устройству такие: быть легким для дороги, надежным для горящих дедлайнов и стильным, чтобы не прятать в переговорке. А еще — легко работать в связке с другими гаджетами.

Протестировали TECNO MEGABOOK K15S вместе со смартфоном TECNO CAMON 40 и наушниками TECNO в рабочих и бытовых сценариях от Zoom-звонков до перелета, а теперь рассказываем, как себя показала техника.

Первое впечатление от дизайна ноутбука

Первое, что заметно — это вес. При диагонали 15,6 дюйма и полностью металлическом корпусе K15S весит всего 1,7 кг. Это примерно на 15% меньше, чем аналоги. Устройство не обременяет ни в офисе, ни в такси. Ноутбук поместился в стандартный городской рюкзак, было удобно достать его в кафе за завтраком и по дороге в такси, чтобы быстро отработать клиентские правки.

1/4

Дизайн сдержанный, без ярких акцентов, с матовой поверхностью. Правда, на ней остаются следы от рук. Так что если приходится постоянно открывать ноутбук в присутствии клиентов или партнеров, лучше купить прозрачный кейс. Визуально и тактильно устройство ощущается надежно: не выскальзывает и не двигается по столу, благодаря специальным резиновым накладкам на задней части.

Шарнир работает мягко: чтобы открыть крышку даже одной рукой, не нужно придерживать корпус. Чтобы показать коллеге или клиенту презентацию, достаточно раскрыть экран на 180°. Это удобно и для работы лежа, и для подставок, которые требуют определенного угла обзора.

Также отметим 9 портов: USB-A, USB-C, HDMI, слот для карты памяти — можно забыть о переходниках.

В TECNO MEGABOOK K15S предустановлен Windows 11. Ноутбук готов к работе сразу после включения. Никаких лишних установок и обновлений. Все настроено и оптимизировано для вашей многозадачности.

Экран: яркая картинка и комфорт ночью

Экран — 15,6 дюйма, IPS-матрица с разрешением Full HD. Углы обзора отличные: изображение остается четким, даже если смотреть сбоку, цвета не искажаются. Есть антибликовое покрытие. Тестировали ноутбук при разном освещении: можно спокойно работать у окна. Когда солнце бьет прямо в экран, текст по-прежнему остается читаемым, картинки не искажаются. Это редкость в бюджетных моделях.

1/2

Неважно, работаете вы ночью или играете, выручит клавиатура с регулируемой четырехуровневой подсветкой. При среднем уровне в темноте все видно, глаза не устают. Из плюсов для тревожных людей: включали ноутбук в самолете и электричке, никто вокруг не жаловался на яркость. Все регулируется кнопками, не нужно лишний раз заходить в настройки.

Стеклокерамический крупный тачпад — 15 см. Он не залипает, не промахивается, срабатывает с первого касания. Не возникает дискомфорта, даже если несколько часов редактировать документы без мышки. После перехода с других устройств немного непривычно, что тачпад работает в двух направлениях: нижняя часть отзывается нажатием, верхняя — касанием.

В кнопку питания встроен сканер отпечатка пальцев. К нему можно быстро привыкнуть, особенно если сидишь в опенспейсе или работаешь в дороге. Один легкий тап пускает в систему даже с мокрыми руками. Безопасно, удобно и не нужно постоянно вводить пароли.

Производительность: рендерим видео, открываем вкладки

Ноутбук работает на AMD Ryzen 7 5825U (опционально можно выбрать версию техники Intel Core i5-13420H). Восьмиядерный AMD с поддержкой 16 потоков подходит для ресурсоемких операций вроде рендеринга или работы с большими массивами данных. Встроенная графика Radeon справляется с редактированием видео в Full HD или играми.

1/4

Во время монтажа 30-минутного ролика в DaVinci Resolve и параллельной работе в Photoshop с несколькими большими PSD-файлами система сохраняла стабильность. Не было ни зависаний, ни заметного падения производительности. Ноутбук уверенно держит в фоне 10 приложений одновременно. Если запущены браузер с 20 вкладками, видеозвонок в Telegram, Excel с объемной таблицей и софт для монтажа, система не тормозит и не перегревается. Переход между окнами остается плавным, ничего не «проседает», даже при одновременном скачивании файлов и редактировании видео.

Базовая комплектация включает 16 ГБ оперативной памяти в двух слотах. При необходимости можно легко увеличить этот показатель до 32 ГБ, заменив стандартные модули на более емкие. Помимо установленного SSD на 1 ТБ предусмотрен дополнительный слот, поддерживающий диски объемом до 2 ТБ.

Чтобы во время нагрузки системы охлаждения не выходили из строя, в ноутбук встроен эффективный вентилятор, способный рассеивать до 35 Вт тепла. Устройство не греется, его спокойно можно держать на коленях. Это решение дополнено тремя режимами работы, которые переключаются простой комбинацией клавиш Ctrl+Alt+T. Тихий режим идеален для работы ночью или в общественных местах, сбалансированный подходит для повседневных задач. Производительный, на котором запускали рендеринг видео и игры, практически не шумит.

Автономность: 15 часов без подзарядки

Протестили автономность MEGABOOK K15S в условиях, знакомых каждому деловому путешественнику. Утром перед вылетом зарядили ноутбук до 100% и взяли его в рейс Москва — Калининград. В зале ожидания провели созвон, потом три часа смотрели сериал и в дороге до отеля редактировали документы. К моменту приезда оставалось 40% заряда: хватило бы еще на пару часов продуктивной работы.

1/3

MEGABOOK K15S может автономно работать до 15 часов и позволяет не оглядываться на индикатор заряда. Заявленное время достигается при типичном офисном использовании: одновременная работа с документами в Word и Excel, ведение переписки, видеоконференции, веб-серфинг.

Если все же понадобится, за  час восполняется до 70% батареи. Компактный адаптер мощностью 65 Вт на базе нитрида галлия поместился даже в карман пиджака. Один блок питания заряжает и ноутбук, и смартфон, и наушники. Экономия места: не нужно никаких дополнительных проводов.

Звук, который реально слышно

В TECNO MEGABOOK K15S установлены два мощных динамика по 2.5 Вт. Звук с глубокими низами, без пластикового дребезжания, объемный. Благодаря DTS можно смотреть видео даже в шумном помещении. В тестах специально включали сцены с шагами и выстрелами: локализация настолько точная, что в наушниках нет необходимости.

Та же стабильность и в микрофоне. Благодаря AI-шумоподавлению голос передается чисто. Во время тестовых звонков из оживленного кафе собеседник не услышал ни разговоры за соседним столом, ни городской шум. И все это — на расстоянии до пяти метров.

Кстати, о созвонах. В ноутбуке встроена обновленная камера. Она отслеживает положение лица, а еще есть физическая шторка приватности. Например, можно закрыть шторку для комфортных видеоконференций.

Для тех, кто предпочитает гарнитуру, идеально подойдут беспроводные наушники TECNO FreeHear 1 из экосистемы бренда. Когда не хотелось делиться разговорами с окружающими, подключали их. Чистый звук с акцентом на средние частоты, 11-мм драйверы, которые выдают неожиданную детализацию. Музыку слушать приятно: и фоновый плейлист на телефоне, и вечерний сериал на ноутбуке. Автономно работают наушники 6 часов, с кейсом — до 30 часов. 

1/2

Bluetooth 5.4 обеспечивает стабильное соединение на расстоянии до 10 метров. Удобная C-образная форма разработана специально для длительного ношения — после восьмичасового рабочего дня в ушах не возникает дискомфорта. Наушники поддерживают одновременное подключение к ноутбуку и смартфону. Переключение между устройствами происходит быстро и без заминок.

Через фирменное приложение Welife можно выбрать один из четырех эквалайзеров и отследить местоположение гарнитуры в случае утери. А еще кастомизировать виджет для управления наушниками. Функция настройки персонализированного дизайна доступна для устройств на Android и позволяет гибко изменить внешний вид окна подключения: вплоть до установки фоновой картинки или собственного фото.

Первые пару использований может потребоваться время, чтобы привыкнуть к нестандартной форме вкладышей, но уже с третьего раза они надеваются вслепую за секунду. Что особенно приятно:  собеседники отмечают, что звук от микрофона более приятный и четкий, чем у дорогих известных моделей.

Бесшовная синхронизация со смартфоном

Благодаря функции OneLeap ноутбук синхронизируется со смартфоном TECNO. Подключение происходит за пару секунд: достаточно один раз подтвердить сопряжение. После этого открывается доступ к бесшовному переключению между устройствами — объединенному буферу обмена, дублированию экранов и передаче файлов без кабелей и пересылок в мессенджерах.

Функция выручила, когда нужно было открыть приложение, у которого нет веб-версии. Удобно работает и буфер обмена: скопировал текст на одном устройстве — вставил на другом. Например, код, полученный в сообщении на телефоне, вводится в браузере на ноутбуке. Экономит минуты, а иногда и нервы. А когда в дороге пропал Wi-Fi, ноутбук сам подключился к мобильному интернету через смартфон.

1/2

TECNO CAMON 40 и сам по себе — мощный рабочий инструмент.  Смартфон выделяется камерой высокого качества 50 Мп, ярким AMOLED-экраном 120 Гц и множеством функций, которые упрощают процесс мобильной съёмки и использование искусственного интеллекта TECNO AI.

Телефон работает на HIOS 15.0.1 на базе Android 15.В фирменную оболочку встроен искусственный интеллект:

  • Голосовой помощник Ella. Отвечает на вопросы, помогает с задачами и управлением устройством.

  • Решение задач. Наводите камеру на задачу, ИИ решает ее.

  • AI Редактор фотографий. Интеллектуальная обработка в одно касание.

  • Быстрый поиск. Находит адрес на экране и запускает навигацию, распознает объекты и события, автоматически добавляет их в календарь.

Технические характеристики

  • Процессор и память. 8 ядер, 16 потоков, Кэш L3 16 МБ, частота до 4.5 ГГц Графический процессор AMD Radeon™ graphics SSD 512 ГБ или 1 ТБ, М.2, 2280, PCle 3.0 Nvme DDR4 16 ГБ, 3200 МГц.

  • Дисплей. 15.6", TFT, Full HD (1920×1080), 16:9, 280нит, 45% NTSC, 16.7 млн цветов, 60 Гц, 141 ррі.

  • Веб-камера. 1 Мп, шторка приватности.

  • Порты. 9 портов: 1*TF Card (microSD), 1*HDMI 1.4, 1*USB-A 3.1,

    1*USB-A 3.2, 1*3.5mm аудиовход, *Ethernet RJ45 до 1 Гбит, 2*Туре-С (Full Function), 1*слот для замка Kensington.

  • Другое. Сканер отпечатка пальца в кнопке питания. Клавиатура с подсветкой (4 уровня яркости). Тачпад с поддержкой одновременно 4 касаний.

  • Батарея. 70 Вт∙ч (6150 мА∙ч), Li-Pol, 11.55 B 65 Вт Type-C GaN, 20 В, 3.25 А, кабель 1.8 м (Туре-С-Type-C).

  • Габариты. 17.3 мм (высота), 359.5 мм (ширина), 236 мм (глубина).

  • Вес. 1,7 кг.


Если хотите создать собственную экосистему, в которой технологии подстроятся под ритм дня, попробуйте технику TECNO. Мощный ноутбук, быстрый смартфон и наушники соединяются в единое пространство. Быстрое переключение между устройствами, синхронизация файлов и стабильное соединение без лишних настроек.

КУПИТЬ НОУТБУК TECNO

Реклама TECNO Mobile Limited, Юридический адрес: Flat N, 16/F., Block B, Универсальный промышленный центр, 19-25 Shan MeiStreet, Fotan, New Territories, Гонконг

Показать полностью 17
Электроника Гаджеты Ноутбук Длиннопост
56
Medach.Official
Medach.Official
8 лет назад
Наука | Научпоп

Big Data: Мощь петабайт⁠⁠

Big Data: Мощь петабайт Медицина, Генетика, Большие данные, IT, Длиннопост

Исследователи стремятся анализировать стабильно увеличивающиеся запасы информации для разработки программ здравоохранения, ориентированных на конкретного пациента.


Пятнадцать лет назад это было эпохальным достижением. Десять лет назад — интригующим, но очень дорогостоящим инструментом для исследований. Теперь же понижающиеся затраты, высокая точность и стабильно растущий фундамент научных знаний вознесли секвенирование генома на вершину рутинной клинической помощи.


Растущее число учреждений проводят поиск в целых геномах мутаций, ответственных за редкие заболевания. “В этих случаях мы все чаще находим ключевые варианты,” — говорит Russ Altman, биоинформатик Стэнфордской Медицинской Школы в штате Калифорния. “В некоторых центрах можно обнаружить их в 50% случаев.” Геномные варианты могут также выявлять “драйверные” мутации, открывающие новые возможности для терапии опухолей, либо давать объяснение, почему конкретный индивид может быть восприимчив или невосприимчив к определенным лекарственным средствам, таким образом определяя “фармакогенетические” свойства препаратов.


Американская идея “генома ценой в 1000 долларов” рассматривалась отправной точкой, в которой, как было изначально задумано, секвенирование может стать компонентом персонализированной медицины, и этот момент настал. “Наши возможности генерировать информацию в зависимости от стоимости возросли примерно на шесть порядков за последние семь или восемь лет – случай, практически беспрецедентный для науки,” — говорит Пол Фличек, специалист по вычислительной генетике из Европейской лаборатории молекулярной биологии Европейского Института Биоинформатики в Кэмбридже, Великобритания. Например, система HiSeq X Ten, разработанная Illumina (Сан Диего, штат Калифорния), может секвенировать 18.000 человеческих геномов за год.

Big Data: Мощь петабайт Медицина, Генетика, Большие данные, IT, Длиннопост

Сделано на основе: Stephens, Z. D. et al. PLoS Biol.13, e1002195 (2015)/CC by 4.0 http://creativecommons.org/licenses/by/4.0

Биомедицинское исследовательское сообщество вливается в популяционные программы, предназначенные для изучения возможностей клинического использования генома. В 2014 году Великобритания запустила проект 100.000 геномов (100.000 Genomes Project), а США (под эгидой Precision Medicine Initiative) и Китай (в программе, которую собирается запустить BGI, Шэньчжень) раскрыли планы по расшифровке геномов одного миллиона индивидов. Многие другие программы, хоть и носят более сфокусированный, региональный характер, также имеют дело с “big data”. Партнерство между Geisinger Heath System (Дэнвилл, штат Пенсильвания) и биотехнологической фирмой Regeneron Pharmaceuticals (Тэрритаун, штат Нью Йорк), например, направлено на секвенирование геномов более 250.000 человек. В то же время, все большее количество лечебных учреждений и компаний по всему миру занимаются секвенированием геномов людей с различными формами рака и редких наследственных заболеваний (см. рисунок).


Некоторые исследователи боятся, что такой поток информации может оказаться не по силам вычислительной технике, необходимой для анализа, и создать беспрецедентный дефицит средств хранения информации — по оценкам одной из статей, объем получаемой при программах секвенирования информации в скором времени значительно превысит объем данных, хранящейся, например, на серверах YouTube. Многие также опасаются, что на данный момент big data не имеют достаточной клинической значимости. “Я не знаю, является ли миллион геномов достаточным количеством, но очевидно, что информации требуется больше, чем мы имеем сейчас”, — говорит Марк Уильямс, директор Гейзингерского Института Геномной Медицины.


Значение мутаций


В настоящее время клиническая геномика в огромной степени сосредоточена на распозновании однонуклеотидных вариантов — индивидуальных “опечаток” в генетическом коде, способных привести к нарушению работы гена. И вместо того, чтобы рассматривать геном в целом, многие центры сосредотачиваются на экзоме — наборе последовательностей, содержащих гены, кодирующие конкретные белки. Это почти стократно уменьшает количество информации, нуждающейся в анализе, но, тем не менее, в среднем экзом содержит более 13.000 однонуклеотидных вариантов. Примерно 2% этих вариантов, как полагается, могут влиять на строение белков, и обнаужение возбудителей каждого конкретного заболевания является сложной задачей. На протяжении десятилетий биомедицинские исследователи предоставляли свои открытия однонуклеотидных вариантов публичным ресурсам, таким как Human Gene Mutation Database, созданную Институтом Медицинской Генетики Университета Кардиффа (Великобритания), или dbSNP, поддерживаемую Национальным Центром Биотехнологической Информации США. Тем не менее, эффекты этих мутаций часто устанавливались с помощью клеточных культур, животных моделей или даже теоретических предположений, что предоставляло недостаточно информации для инструментов клинической диагностики. “Во многих случаях взаимосвязь основывалась на сравнительно низкоуровневых доказательствах,” — говорит Уильямс.


Ситуация еще сложнее со структурными вариантами, такими, как продублированные или утерянные части геномной последовательности, которые намного сложнее выявить с помощью существующих технологий секвенирования, чем однонуклеотидные варианты. В масштабе целого генома у каждого человека — миллионы таких вариантов. Многие из них относятся к последовательностям, которые не кодируют белки, а регулируют активность генов, поэтому так же могут повлиять на развитие заболеваний. Тем не менее, предел и функция этих регуляторных участков недостаточно определены. И хотя установление всех возможных вариаций генома желательно, оно не обязательно позволит нам улучшить клинический аспект секвенирования в краткосрочной перспективе. “Образно говоря, вы стреляете самому себе по ногам, если собираете информацию, которую не можете интерпретировать,” — объясняет Альтман.


Сейчас основные силы направлены на решение этой проблемы. The Clinical Genome Resource, основанный Национальным Исследовательским Институтом человеческого генома США — это база данных вариантов, связанных с заболеваниями, и она содержит информацию, которая могла бы помочь при выборе клинической тактики в таких случаях, а также доказательства, подтверждающие эти взаимосвязи. Genomics England, основавшая 100.000 Genomes Project, направлена на поддержание прогресса в этой области, устанавливая “партнерство клинической интерпретации”: врачи и исследователи будут объединять усилия для создания понятных моделей заболеваний, которые потенциально могут быть связаны с определенными генетическими изменениями.


Тем не менее, количество так же важно, как и качество. Мутации, вызывающие негативный эффект, являются с эволюционной точки зрения недостатком, поэтому встречаются чрезвычайно редко и требуют большой выборки для обнаружения. Определение статистически значимых взаимосвязей заболеваний для вариантов со слабым эффектом также требует огромного количества обследуемых людей.


В Исландии deCODE Genetic продемонстрировали силу популяционной геномики, совмещая обширную генеалогическую информацию и истории болезней с геномной информацией 150.000 людей (включая 15.000 полностью секвенированных геномов). Эти результаты позволили deCODE обобщить распространенность известных генетических факторов риска в популяции, включая генные варинты, связанные с раком молочной железы, диабетом и болезнью Альцгеймера.


Они также провели изучение на людях, хотя обычно такие исследования требуют выведения животных с измененным геномом. “Мы обнаружили, что примерно 10.000 исландцев имеют мутации, приводящие к нарушению функции, во всех копиях примерно 1.500 разных генов,” — говорит Кари Стефанссон, директор компании. “Мы вкладываем огромные силы, пытаясь понять, как выключение этих генов влияет на индивидов.”


Этой работе поспособствовала относительно гомогенная природа исландской популяции, но другим проектам требуется широко репрезентативный спектр доноров. Такие проекты, как 1000 Genomes Project, позволили в некоторой степени каталогизировать генетическое разнообразие человечества, однако существует сильный перекос данных в сторону европейской популяции, а это делает базу менее полезной для клинических открытий. “Поскольку они, так сказать, выходцы из одной генетической колыбели, люди с африканскими корнями несут в геноме намного больше вариантов, чем не являющиеся выходцами из Африки,” — говорит Исаак Коган, биоинформатик из Харвардской Медицинской Школы, Бостон, штат Массачусетс. “Варианты, кажущиеся необычными у европецев, могут быть распространенными среди африканцев, и не вызывать у них заболеваний.”


Часть проблемы создает и сам референсный геном — изначальная последовательность, разработанная многонациональным Genome Reference Consortium, по которой ученые определяли явные отклонения от нормы. Первая версия была собрана от нескольких случайных доноров неустановленной этнической принадлежности, но последняя итерация, известная как GRCh38, объединяет в себе информацию о многообразии человеческого генома.


В облака


Сбор геномов и даже экзомов на уровне популяции создает огромное количество информации, вероятно, около 40 петабайт (40 миллионов гигабайт) ежегодно. Тем не менее, хранение сырой информации не является первостепенной проблемой. “Исследователи геномов — небольшая доля людей, которым нужны жесткие диски побольше,” — говорит Flicek. “Я не думаю, что хранение является значимой проблемой.”


Более волнующим обстоятельством является количество анализируемой информации о вариантах, полученной от каждого индивида. “Объем вычислений линейно зависит от количества людей,” — говорит Мэрилин Ричи, геномный исследователь Pennsylvania State University in State College. “Но когда вы добавляете варианты, зависимость становится экспоненциальной, поскольку вы изучаете разные комбинации.” Это становится особенно проблематично, если присутствует дополнительная информация о клинических симптомах или экспрессии гена. Обработка данных таких масштабов, собранных от тысяч людей, может привести в негодность инструменты статистического анализа, обычно использующиеся в маленьких лабораторных исследованиях.


Расширение масштабов требует импровизаций, но нужды начинать всю работу по новой нет. “Такие области, как метеорология, экономика, астрономия интегрировали различные типы информации на протяжении большого времени,” — говорит Ричи. “Я присутствовала на некоторых встречах, где говорила с людьми из Google и Facebook, и выяснилось, что наши “big data” не имеют ничего общего с их “big data”. Нам следует пообщаться с ними и понять, как они анализируют информацию, чтобы затем приспособить их способы под нашу область.”


К сожалению, многие талантливые программисты, обладающие достаточным опытом для анализа big data, переманены Силиконовой Долиной. Филипп Бурне, помощник директора по изучению данных Национального Института Здоровья США (NIH), полагает, что это частично связано с отсутствием их признания и продвижения через систему публикаций в научном мире, что оставляет создателей программного обеспечения ни с чем. “Некоторые из этих людей серьезно хотят быть учеными, но не могут реализовать себя в этой области — это неправильно,” — отмечает Бурне.


Вычислительная мощь является еще одним ограничивающим фактором. “Это не компьютерная игра — настоящие практикующие ученые владеют огромными вычислительными системами с сотнями, если не тысячами, ЦП, каждый из которых имеет огромную оперативную память,” объясняет Коган. Многие группы, анализирующие массивные объемы секвенированной информации, переходят на “облачные” архитектуры, в которых информация распределяется в огромном пуле вычислительных ресурсов и может быть обработана с той вычислительной мощью, которая требуется.


“Произошла постепенная эволюция в сторону той идеи, что вы подстраиваете свои алгоритмы под информацию,” говорит Тим Хаббард, глава отдела биоинформатики в Genomics England. Для Genomics England эта архитектура заключена в надежном государственном учреждении, со строгим контролем за внешним доступом. Другие исследовательские группы используют коммерческие облачные системы, предоставляемые, например, Google или Amazon.


Защита личных данных


В принципе, хранение в “облаке” может способствовать сотрудничеству с совместным использованием массивов данных от разных групп. Но нормативно-правовые акты о согласии на обработку личных данных пациента и врачебной тайне о высоко чувствительной клинической информации поднимают ряд непростых этических и юридических вопросов.


В Европейском Союзе сотрудничеству препятствует то, что входящие в него страны имеют разные правила работы с информацией. Обмен с не входящими в ЕС нациями зависит от сложных механизмов обеспечения адекватной защиты информации, либо на ограничительных двусторонних соглашениях с индивидуальными организациями. Чтобы поспособствовать решению данной проблемы, мультинациональная коалиция Global Alliance for Genomics and Health разработала Framework for Responsible Sharing of Genomic and Health-Related Data. Framework включает в себя методические рекомендации, касающиеся приватности и добровольности, а также ответственности и юридических последствий для тех, кто нарушает правила.

Big Data: Мощь петабайт Медицина, Генетика, Большие данные, IT, Длиннопост

Быстрые изменения в технологиях меняют и изучение генома. Len Rubenstein/The Broad Institute

“Если договоры по обмену информацией вступят в силу, вы сможете оградить себя от изучения многих и многих страниц правил, если ваши учреждение, исследователь и спонсор будут согласны следовать Framework,” — говорит Берта Нопперс, биоэтик McGill University (Монреаль, Канада), председатель законодательной и этической рабочих групп альянса. Framework также призывает к использованию “безопасных хранилищ”, позволяющих исследователям анализировать геномную информацию, которая была частично, но не полностью, анонимизирована. “Мы хотим связать ее с клинической информацией и историями болезней, поскольку в противном случае мы никогда не добъемся точности в медицине, так что нам необходимо использовать закодированную информацию,” — объясняет Нопперс.


Интеграция геномной информации с электронными историями болезни становится все более важна для европейских стран. “Наша цель — сделать это стандартом национальной медицинской помощи,” — говорит Хаббард. Британский 100.000 Genomes Project, на данный момент, вероятно, зашел дальше всего, но другие страны стараются не отставать. К примеру, Бельгия недавно объявила об инициативе исследовать медицинскую геномику.


Для этих стран является премуществом существование централизованных государственных систем здравоохранения. В США ситуация более разрозненна, отдельные поставщики полагаются на различные системы хранения медицинской информации, предоставляемые разными продавцами, и в целом эти системы не предназначены для сложной геномной информации. NIH запустила Electronic Medical Records and Genomics (eMERGE) Network в 2007, чтобы определить лучшую из них.


От информации к диагнозу


Сиюминутной задачей истории болезни, обогащенной информацией о геноме, является объяснение содержания вариантов генов для врачей, и одним из ее самых ранних применений станет фармакогенетика. The Clinical Pharmacogenetics Implementation Consortium смогли приспособить известные взаимосвязи по типу “лекарственное средство-ген”, сообщенные в PharmGRB (база данных, которую поддерживают Altman и его коллеги), под клиническую практику. Например, некоторые антикоагулянты могут быть несостоятельны у людей с определенными генетическими вариантами, что повышает риск инфаркта. “Проблемой здесь является то, как эффективно повлиять на практику рядового врача, уделяющего около 12 минут на каждого пациента, из которых примерно 45 секунд уходят на назначение лекарственных средств?” — говорит Альтман


До тех пор, пока адаптация здравоохранения под генетические открытия остается работой человека, этот процесс будет затратен в плане времени и сил. Тем не менее, совмещение информации о генотипе и фенотипе, как показывает практика, является очень выгодным с исследовательской точки зрения. Наиболее клинически релевантные варианты генов были идентифицированы с помощью ассоциативных исследований целых геномов, в которых люди с определенными заболеваниями обследовались с целью обнаружения связанных с ними генетических сигнатур. Исследователи теперь могут отталкиваться от историй болезни, чтобы определить, какие клинические проявления наиболее распространены у лиц с данным генетическим вариантом.


А еще геном — это только часть картины, другие “-омы” могут также выступать в качестве идентификатора здоровья. В июле Джан Вонг ушел с поста директора BGI и основал организацию, целью которой является анализ запланированной BGI когорты в миллион геномов, а также сравнение их с эквивалентными данными, полученными от протеомов, транскриптомов и метаболомов. “Я создам новое учреждение, чтобы сосредоточиться на использовании искуственного интеллекта для изучения этого типа big data,” — говорит Jung Wang.


Нужно больше вовлекать пациентов


По мере того, как исследователи стремятся интегрировать информацию из историй болезни и клинических исследований с геномной и другой физиологической информацией, пациенты начинают вносить свой вклад. “Когда мы сосредотачиваемся на вещах вроде поведения, питания, упражнений, курения и алкоголя, лучше той информации, что нам сообщают пациенты, получить просто невозможно,” — говорит Ричи. Портативные приспособления, такие как смартфоны и FitBit’ы, собирают информацию о упражнениях и сердечном ритме, объем этой информации растет, поскольку она собирается с приложением минимальных усилий со стороны пациента. Каждый пациент может стать производителем big data. “Информация, генерируемая нами дома и на улице станет куда больше той, что мы собираем в области здравоохранения,” — говорит Kohane. “Мы стараемся создать огромные коллажи из информации различной модальности — геномной, средовой, клинической — а затем снова связываем ее с пациентом.” Когда эти разработки станут реальностью, мы сможем создать вычислительную технику настолько мощную, что современные проблемы “big data” будут казаться задачей для карманного калькулятора. И когда ученые найдут способ работы с этой информацией, пациенты окажутся в выигрыше.

Перевод из журнала Nature
Источник

Оригинал

Показать полностью 2
[моё] Медицина Генетика Большие данные IT Длиннопост
3
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии