OpenAccess :: DSpace по-русски

Сравнение DSpace и EPrints

2011-06-17T07:57:00.000-07:00

Платформа электронных библиотек DSpace разрабатывалась совместно компанией
Hewlett- Packard и библиотеками MIT (Massachusetts Institute of Technology). 4-го ноября 2002
года система была запущена как действующая служба, поддерживаемая библиотеками MIT.
DSpace формировалась под влиянием научных исследований в области систем электронных
библиотек. Платформа EPrints произошла из движения Scholarly Communication (“Общение в
мире науки”), как следствием конфигурация по умолчанию направлена на поддержку
научных статей. EPrints имеет много сходства с DSpace, но оптимизирована так, чтобы
обеспечить доступ к самостоятельному депонированию (внесению) автором материалов
(статей, отчетов, книг и пр.), в то время как DSpace обеспечивает платформу, для
долгосрочного хранения цифровых материалов, используемых в академических
исследованиях [1].

Рассмотрим функциональные возможности DSpace: [2]

Для базовой организации данных зафиксирована определенная модель данных;
Система хранит и индексирует метаданные в разнообразных форматах;
Система хранит информацию о пользователях системы;
Авторизация пользователей с целью разделения уровней доступа к репозиторию;
Система должна быть способна принимать приходящие материалы, такой процесс называется поглощением;
В некоторых случаях требуется, чтобы материалы или связанные с ними метаданные, вносимые в архив, были проверены или дополнены назначенными пользователями. Эта последовательность действий называется рабочим процессом (work-flow);
Материалы в архиве доступны по ссылкам, приведенным в описании конкретного элемента. По этому же описанию можно делать библиографические ссылки на данный материал;
Конечные пользователи должны иметь возможность просматривать и находить содержимое репозитория. В связи с этим система должна обеспечивать функции поиска и просмотра (навигации);
Для предоставления возможности интегрированного поиска документов поддерживается протокол сбора метаданных OAI-PMH;
Должна существовать возможность уведомления конечных пользователей системы об интересующих свежих поступлениях репозитория, чтобы избавить их от необходимости регулярно посещать репозиторий для выполнения такой проверки. Система предоставляет автоматическую рассылку уведомлений по электронной почте через службу подписки;
Предоставляется возможность обрабатывать данные произвольных форматов, от простых текстовых документов до наборов данных и цифрового видео;
Доступ к перечисленным функциональным возможностям предоставляется посредством веб-интерфейса.

С помощью EPrints можно так же обеспечить подобную функциональность
репозитория. Основные отличия EPrints и DSpace лежат в их подходе к организации
структуры данных. В DSpace данные организуются таким образом, чтобы отобразить
структуру организации, использующую данную систему. Построим блок-схему для более
наглядного отображения структуры данных в DSpace:

В отличии от DSpace, EPrints не имеет строгого структурного деления на разделы и
коллекции. В основе EPrints лежит равенство всех элементов репозитория и отсутствие
иерархии. Однако иерархия необходима для организации навигации по репозиторию. Для
этого в EPrints существует представления при помощи информации из мета-данных. Тем
самым в EPrints можно получить более сложную иерархию. Сходство в моделях начинается
на уровне элементов, это соответствует модели OAI-PMH. Выигрышем DSpace, благодаря
жесткой иерархии, будет физическая близость данных, находящихся в одном наборе, на
накопителе. Как следствие уменьшается время на выдачу информации пользователям.
Выигрышем EPrints будет возможность более сложной организации иерархии данных.

Литература:
[1] - Nixon W.J. DAEDALUS, Initial experiences withEPrints and DSpace at the University of Glasgow, 2003
[2] - Кудим К.А., Проскудина Г.Ю, Резниченко В.А., Сравнение систем электронных библиотекEPrints 3.0 и DSpace 1.4.1, 2008

Система проведения конференций

2011-04-19T09:57:00.000-07:00

Как выяснилось, DSpace не сильно то и подходит в качестве системы для проведения конференций =) ведь в его философии изначально заложено: "это открытое программное обеспечение, позволяющее собирать, хранить и распространять контент, охватывая организации, континенты и время", хотя он и позволяет собирать информацию, существует множество других функций, которые должна выполнять система для проведения конференций. Например (пункты взяты с википедии, а в скобках комментарии относительно DSpace):

регистрация участников конференции (можно реализовать с помощью DSpace, но чтобы регистрировать на определенную конференцию придется поработать напильником);
регистрация оргкомитета (аналогично);
назначение рецензоров (легко реализуемо);
автоматический приём отзывов (вот этого пункта не понял);
приём научных докладов - обычно документов в формате PDF, а так же метаинформации (можно принимать любые форматы)
генерация окончательного документа со всеми материалами, их описаниями, содежанием и авторским оглавлением; (нет так как то не система проведения конференций)
уведомление участников о предстоящих событиях (новостная рассылка есть).

Дополнительные пункты:

создание вебсайта конференции (можно создать отдельную страницу с описанием)
публикация презентационных материалов на сайте конференции (да, DSpace для этого и предназначена, так же все материалы можно включить в мировой репозиторий)
помощь в резервировании номеров в отелях или в гостиницах (точно нет =))
так же думаю стоит добавить системы оплаты за участие в конференции.

Так что было принято решение, либо взять готовое ПО если таковое имеется, либо написать свое с нуля. Колесо изобретать не сильно хочется, да и времени не много и начались поиски.
Побродив по просторам интернета были найдены следующие варианты:

conftool.net - система не бесплатная, но можно получить лицензию написав письмо, сейчас в ожидании ответа от них.

На сайте feeding.cloud.geek.nz была найдена статья, в которой речь шла об opensource системах

Название проекта (где используется) тип лицензии, язык программирования
A Conference Toolkit (YAPC::Eu) Artistic License, Perl
ConMan (Utah Open Source Conference,Texax Linux Fest) GPL, Python (Django)
Open Conference Systems (various academic conferences) GPL, PHP
OpenConferenceWare (Open Source Bridge) MIT, Ruby on Rails
Pentabarf (DebConf, FOSDEM, CCC) GPL, Ruby on Rails
SCALEreg (SCALE) GPL, Python (Django)
Zookeepr (linux.conf.au) GPL, Python (P ylons)

В следующей статье будем заниматься рассмотрением этих систем.

Оформление DSpace :: Mirage xmlui theme

2011-03-30T05:54:00.000-07:00

Небольшая заметка о том как же включить mirage xmlui тему.
Оказывается, элементарно! Для этого необходимо лишь раскомментировать строку в теге <themes>:<theme name="Atmire Mirage Theme" ... />, и надо закомментировать предыдущую тему. Конфиг файл для xmlui лежит здесь - [dspace]/config/xmlui.conf.

DSpace :: Группы, пользователи права.

2011-03-28T12:55:00.000-07:00

Целью данного топика будет разобраться с политикой групп в DSpace. Как выяснилось DSpace обладает достаточно гибкой системой прав, благодаря которой можно спокойно разграничить область доступа к различным участка архива. Из всех групп можно выделить следующие: администраторы, депоненты, участники процесса депонирования, подписчики и группы с разрешением просматривать не общедоступные элементы. Пользователи могут состоять в нескольких группах.

Рассмотрим допустимые действия в DSpace:

read (чтение) - позволяет пользователю узнавать о существовании объекта и получать о нем мета информацию;
write (запись) - позволяет изменять метаданные;
add ( добавление) - позволяет добавлять объекты в контейнеры (пример контейнеров: коллекции, разделы, наборы);
remove (изъятие) - удаление объекта из контейнера.

Действия, производимые с контейнерами и элементами:
Community (разделы):

add/remove - добавление и изъятие разделов и подразделов.

Collection (коллекция):

add/remove - разрешение на добавление и изъятие элементов;
default_item_read - все вложенные элементы наследуют это значение для чтения;
default_bitstream_read - аналогично для файлов;
collection_admin - администрирование позволяет редактировать, изымать, отображать.

Item (элементы):

add/remove - добавление/изъятие наборов;
read - чтение элемента и его метаданных;
write - модификатор элемента.

Bundle (набор):

add/remove - добавления/изъятие файлов в наборе

Bitstream(файл):

read - чтение файла;
write - модификация файла

Комбинирую приведенные выше действия можно получить очень гибкую политику доступа к ресурсам нашего архива.
В следующий раз начнем проектировать сервер для коныеренций. Удачи в экспериментах.

Работа dspace через прокси сервер.

2011-03-28T07:17:00.000-07:00

Если выходит в интернет через прокси сервер, то необходимо настроить maven. Для этого достаточно подредактировать файл /etc/maven2/settings.xml

Ищем тег <proxy> В нем по умолчанию будет прописано:


  optional
  true
  http
  proxyuser
  proxypass
  proxy.host.net
  80
  local.net,some.host.com

Необходимо указать нужные нам параметры, а именно: host, port (,username, password). Вот вообщем то и все, после этих изменений сервер должен работать через указанный прокси.

Установка DSpace 1.7

2011-03-13T05:43:00.000-07:00

Установка DSpace версии 1.7 практически ничем не отличается от установки 1.6, единственное отличие: в 1.7 утилита создания администратора теперь вызывается немного по другому:

sudo /opt/dspace/bin/dspace create-administrator

Указываем необходимые email, имя и фамилию администратора. Теперь под этими данными можно логиниться на нашем сервере.

Конференции на ПМПУ

2011-02-27T07:38:00.000-08:00

В скором времени начнется цикл статей о настройке и интеграции сервера на базе DSpace для проведения конференций на факультете ПМ-ПУ (подробнее о конференциях). В цикле будут рассмотрены как технические аспекты задачи так и бизнес процессы проходящее в ней.

Открытые электронные архивы в России по данным OpenDOAR.org

2010-12-24T01:46:00.000-08:00

По данным OpenDOAR.org на территории России зарегистрированы 10 открытых электронных архивов.

Название Электронного Архива	Организация	Количество статей	ПО
DSpace at Belgorod State University	Белгородский государственный университет	75	Dspace
Elar at YarSU	Ярославский государственный университет им. П. Г. Демидова	114	DSpace
Krasnoyarsk State University Repository (КрасГУ)	Красноярский государственный университет	420	DSpace
Siberian Federal University Digital Repository	Сибирский Федеральный Университет	1106	DSpace
Tver State University Repository	Тверской государственный университет	811	EPrints
Архив электронных публикаций	Калининградский государственный университет	468
Соционет (Sotsionet)	Центральный экономико-математический институт, Российская Академия Наук	2554
Электронный архив УрГУ	Уральский государственный университет им. А.М.Горького	1119
Е-library of the Udmurt State University	Удмуртский государственный университет		DSpace
OpenArchive@GSOM	Высшая школа менеджмента, Санкт-Петербургский Государственный Университет	93	DSpace

На сайте OpenDOAR.org можно ознакомиться с различной статистикой зарегистрированных у них открытых электронных архивов:

Вообще, можно заметить, что Россия только начинает своё участие в обмене информацией таким образом. Так же существует статистика с сайте roar.eprints.org (статистика по РФ), на нем зарегистрировано уже порядка 30 архивов.

Новая версия DSpace 1.7

2010-12-17T08:22:00.000-08:00

Из новшеств можно отметить:

Mirage XMLUI Theme - приятно выглядящее оформление, совместимое со всеми браузерами;
DSpace Discovery - улучшенная интерфейс поиска;
Archive Information Package (AIP) Backup & Restore process: позволяет делать бекапы в METS-based, AIP формат, можно использовать для переноса данных из DSpace в другую систему поддерживающую AIP формат;
Извлечение текста из презентаций PowerPoint для дальнейшего полнотекстового поиска;
Улучшена индексация метаданных и текста в PDF для Google Scholar.

с более подробным списком обновлений можно ознакомиться на официальном сайте DSpace
либо в блоге DuraSpace.

Импорт данных DSpace

2010-12-07T14:09:00.001-08:00

В DSpace предусмотрена система импорта данных, она достаточно проста, но как следствие и примитивна.
Вскоре мы подробно разберем каждый пункт импорта, а пока что разберем импорт данных на небольшом примере. Для начала структурировать файлы в следующей форме:

archive_directory/
    item_00/
        dublin_core.xml -- xml файл содержащий описание в форме дублинского ядра (далее DC)
        contents   --  список имен прилежащих файлов
        file_1.ext  -- собственно сами файлы
        file_2.ext
    item_01/
        dublin_core.xml
        ...

Рассмотрим возможное содержание файла dublin_core.xml:

<?xml version="1.0" encoding="UTF-8"?>
<dublin_core>
 <dcvalue element="contributor" qualifier="author">Public, John Q.</dcvalue>
 <dcvalue element="language" qualifier="iso">en</dcvalue>
 <dcvalue element="subject" qualifier="none">Technology</dcvalue>
 <dcvalue element="title" qualifier="none">Sample Dublin Core Record</dcvalue>
</dublin_core>

element - это элемент DC
language - 2ух символьный ISO код языка для элемента
qualifier - это элемент определителя
В следующей статье более подробно разберем структуру этого документа.

В contents вписываем названия сопутствующих файлов,по одному в каждой строке, в нашем случае :

file_1.ext
file_2.ext

Файлы готовы для импорта в репозиторий и осталось воспользоваться скриптом import

[dspace]/bin/import -a -e ЭЛЕКТРОННАЯ_ПОЧТА -s ПУТЬ_ДО_ARCHIVE_DIRECTORY -c COLLECTION_ID

Для данного примера этой информации будет достаточно, в дальнейшем будем рассматривать более конкретно каждый пункт.

Импорт структуры разделов и коллекций

2010-12-07T12:06:00.000-08:00

Приступим к рассмотрению импорта структуры разделов в DSpace, в документации это дело можно найти по следующему названию : Community and Collection Structure Importer.

Command used: [dspace]/bin/dspace structure-builder
Java class: org.dspace.administer.StructBuilder
Argument: short and long (if available) forms: Description of the argument able
-f Source xml file.
-o Output xml file.
-e Email of DSpace Administrator.

Для создания структуры необхожимо создать xml документ в следующем формате:

 
  
  Community Name 
  Descriptive text 
  Introductory text 
  Special copyright notice 
  Sidebar text 
   
   Sub Community Name 
    ...[ad infinitum]... 
    
   
   
   Collection Name 
   Descriptive text 
   Introductory text 
   Special copyright notice 
   Sidebar text 
   Special licence 
   Provenance information

Приведем пример готовой структуры:

 
  
  Информационное направление 
  Секция информационного направления 
  Вступительные текст?! 
  ОлРайгхтсРезервед 
  Sidebar text 
   
   Электронные архивы 
   
   
   DSpace 
   Статьи посвященные платформе электронных библиотек DSpace 
   Introductory text 
   Копирайт Иваныч 
   Sidebar text 
   BSD license 
   Provenance information

Теперь импортируем структуру
/bin/dspace structure-builder -f /path/to/source.xml -o path/to/output.xml -e admin@user.com

Заходим на сайт и видим

Конечно, можно было усложнить структуру, но думаю и так всё понятно.

В следующий раз рассмотрим пример импортирования данных из joomla k2 (eng | rus), но на самом деле это будет просто база данных.

Новая версия DSpace

2010-11-21T10:30:00.000-08:00

В скором времени, а именно 17 декабря (хотя возможно и 3, это как пойдет) состоится релиз новой версии DSpace под номером 1.7. C нововведениями и подробностями выхода можно ознакомиться здесь.

Установка DSpace

2010-11-21T10:19:00.000-08:00

Как уже упоминалось, DSpace является кроссплатформенным приложением. Кроссплатформенность достигается за счет использования Java. DSpace реализован как J2EE приложение, а для его работы достаточно J2EE контейнера. Для хранения метаданных и прочей сопутствующей информации допускается использовать Oracle либо PostgreSQL. Так же на сервере должны быть установлены JDK (Java Development Kit), Apache Maven, Apache Ant и Tomcat, эти приложения нам понадобятся для сборки DSpace.

В качестве ОС на сервере будет использоваться Ubuntu Server 10.10.

Первый этап: Установка Apache Maven, Apache Ant, PostgreSQL и Tomcat.
их можно установить из репозитория, postfix устанавливаем как smart хост:

sudo apt-get install tomcat6 maven2 ant postgresql openjdk-6-jdk postfix
//Для проверки можно сделать следующее
mvn --version
ant -version

Этап второй: Установка DSpace.
Увы, но DSpace нет в репозиториях нет, его придется скачать (например с SourceForge.net)
Качаем:

wget http://ovh.dl.sourceforge.net/sourceforge/dspace/dspace-1.6.2-src-release.tar.gz

Распаковываем архив и создаём каталог для DSpace:

tar xvzf dspace-1.6.2-src-release.tar.gz
sudo mkdir /opt/dspace

Создаём пользователя и базу данных (На запрос "Позволить роли создавать другие роли?", отвечаем нет):

sudo su postgres
createuser -d -A -P
createdb -O dspace -E UNICODE dspace
exit

Редактируем файл конфигурации:

sudo mousepad dspace-1.6.2-src-release/dspace/config/dspace.cfg

#Путь к каталогу установки dspace
dspace.dir = /opt/dspace

#Адрес главной страницы, здесь нужно указать полное имя сервера и порт.
dspace.url = http://localhost:8080/xmlui
#Так же в качестве веб интерфейса можно использовать jspui
dspace.url = http://localhost:8080/jspui

#Имя сервера
dspace.hostname = localhost

#Имя вашего сайта DSpace  
dspace.name = DSpace - my home library

#Используемая база данных
#db.name = oracle
db.name = postgres

#URL для подключение к БД - jdbc:postgresql://[сервер]:[порт]/[имя БД]
db.url = jdbc:postgresql://localhost:5432/dspace

#Пользователь и пароль для подключения к БД
db.username = dspace
db.password = ПАРОЛЬ

#Локализация
default.locale = ru

#Язык сообщений
default.language = ru_RU

#Каталог для хранения бинарного контента. Лучше разместить на отдельном разделе
assetstore.dir = ${dspace.dir}/assetstore
#В моём случае взят отдельный диск, смониторванный по адресу /media/eData
#assetstore.dir = /media/eData/dspace/assetstore

Производим сборку (будут закачаны необходимые для компиляции пакеты)

cd [dspace-source-folder]/dspace/
sudo mvn package
cd [dspace-source-folder]/dspace/target/dspace-1.6.2-build.dir
sudo ant fresh_install

В результате успешной сборки Вы получите BUILD SUCCESSFUL

Устанавливаем права доступа необходимым нам каталогом

sudo chown -Rv tomcat6:nogroup /opt/dspace
#Так же необходимо указать права доступа и на assetstore.dir, в моем случае это /media/eData/dspace/assetstore 
sudo chown -Rv tomcat6:nogroup /media/eData/dspace/assetstore

Создаем ссылки на приложения

sudo -u tomcat ln -s /opt/dspace/webapps/xmlui /var/lib/tomcat6/webapps/xmlui
sudo -u tomcat ln -s /opt/dspace/webapps/sword /var/lib/tomcat6/webapps/sword
sudo -u tomcat ln -s /opt/dspace/webapps/oai /var/lib/tomcat6/webapps/oai

Проведем необходимые настройки почтовика postfix, для это зайдем в файл настроек /etc/postfix/main.cf и добавим следующие строки, закоментировав все конфликтующие

alias_maps = hash:/etc/aliases
alias_database = hash:/etc/aliases
relayhost =
mynetworks = 127.0.0.0/8
mailbox_size_limit = 0
recipient_delimiter = +
inet_interfaces = localhost

И финальным шагом остается создать пользователя с правами администратора:

[dspace]/bin/create-administrator

Теперь заходим по адресу http://localhsot:port/xmlui (или jspui)
Если что не запустилось, пишите попробуем вместе разобраться.

Процесс поглощения и рабочий процесс в DSpace

2010-11-10T10:10:00.000-08:00

Импорт данных в DSpace осуществляется по средствам приложения "Batch Item Importer" (импортер пакетов элементов - из за отсутствия русской документации, лучше названия не придумал =) )

ingesting process - Процесс поглощения

На вход Batch Item Importer подается ExternalSIP (Submission Information Package - расширенный пакет подачи информации - это xml файл, содержащий метаданные и файлы контента), далее обработанная информация уходит в объект InProgress Submission (процесс приема) , как видно из диаграммы добавление через web интерфейс использует тот же механизм, оно и логично.

Далее в зависимости от политики коллекции в которую мы собираемся добавить новый материал может стартовать "Workflow" (рабочий процесс), это позволяет осуществлять проверку данного материала и дать гарантию его пригодности к выбранной коллекции.

Следующим этапом процесса поглощения является ItemInstaller (инсталляция объекта), в Дублинское ядро (это стандарт описания метаданных, более подробно с ним можно ознакомиться здесь: rus, eng) добавляется сообщение о "происхождении", которое включает в себя имена файлов и контрольные суммы, добавляемого контента.

При успешном завершении WorkFlow объект InProgressSubmission передается в ItemInstaller (инсталлятор элементов), который конвертирует его в полностью соответствующий архивированный элемент DSpace.

Немного подробнее рассмотрим функции ItemInstaller'а

назначения даты внесения;
добавление значения "date.availeble" в метаданные дублинского ядра;
добавление даты выпуска (если ничего другого нет);
добавление сообщения происхождения (включающего в себя контрольные суммы файлов);
назначение Handle (постоянного идентификатора дескриптора);
добавление элемента в коллекцию, и соответствующей политики авторизации;
добавление нового элемента к индексам поиска и просмотра.

По своей сути пост является свободным переводом пункта 2.9. Ingest Process and Workflow в документации к DSpace.

Далее будет более подробно рассмотрен процесс импорта контента при помощи Batch Item Importer