Skip to main content
Ctrl+K
Software Heritage  documentation - Home Software Heritage  documentation - Home
  • Development
  • API reference
  • Usage
  • Infrastructure
  • About
  • GitLab
  • PyPI
  • System Status
  • Software Heritage Homepage
  • Development
  • API reference
  • Usage
  • Infrastructure
  • About
  • GitLab
  • PyPI
  • System Status
  • Software Heritage Homepage

Section Navigation

  • swh.alter
    • Using swh-alter
    • Removal algorithm
    • Recovery bundles
    • swh.alter package
      • swh.alter.bech32 module
      • swh.alter.cli module
      • swh.alter.inventory module
      • swh.alter.mirror_notification_watcher module
      • swh.alter.notifications module
      • swh.alter.operations module
      • swh.alter.progressbar module
      • swh.alter.recovery_bundle module
      • swh.alter.removable module
      • swh.alter.subgraph module
      • swh.alter.utils module
  • swh.auth
    • Command-line interface
    • Django components
    • swh.auth package
      • swh.auth.django package
        • swh.auth.django.backends module
        • swh.auth.django.middlewares module
        • swh.auth.django.models module
        • swh.auth.django.utils module
        • swh.auth.django.views module
      • swh.auth.starlette package
        • swh.auth.starlette.backends module
      • swh.auth.cli module
      • swh.auth.keycloak module
      • swh.auth.pytest_plugin module
      • swh.auth.utils module
  • swh.coarnotify
    • swh.coarnotify package
      • swh.coarnotify.server package
        • swh.coarnotify.server.management package
        • swh.coarnotify.server.admin module
        • swh.coarnotify.server.apps module
        • swh.coarnotify.server.forms module
        • swh.coarnotify.server.handlers module
        • swh.coarnotify.server.models module
        • swh.coarnotify.server.signals module
        • swh.coarnotify.server.utils module
        • swh.coarnotify.server.views module
      • swh.coarnotify.settings package
        • swh.coarnotify.settings.common module
        • swh.coarnotify.settings.development module
        • swh.coarnotify.settings.production module
        • swh.coarnotify.settings.tests module
      • swh.coarnotify.client module
      • swh.coarnotify.manage module
      • swh.coarnotify.urls module
  • swh.core
    • Command-line interface
    • Common database utilities
    • swh.core package
      • swh.core.api package
        • swh.core.api.asynchronous module
        • swh.core.api.classes module
        • swh.core.api.gunicorn_config module
        • swh.core.api.negotiation module
        • swh.core.api.serializers module
      • swh.core.cli package
        • swh.core.cli.backend module
        • swh.core.cli.db module
        • swh.core.cli.sentry module
      • swh.core.db package
        • swh.core.db.common module
        • swh.core.db.db_utils module
      • swh.core.github package
        • swh.core.github.pytest_plugin module
        • swh.core.github.utils module
      • swh.core.api_async module
      • swh.core.collections module
      • swh.core.config module
      • swh.core.logger module
      • swh.core.logging module
      • swh.core.pytest_plugin module
      • swh.core.retry module
      • swh.core.sentry module
      • swh.core.statsd module
      • swh.core.tarball module
      • swh.core.utils module
  • swh.counters
    • swh.counters package
      • swh.counters.api package
        • swh.counters.api.client module
        • swh.counters.api.server module
      • swh.counters.cli module
      • swh.counters.history module
      • swh.counters.in_memory module
      • swh.counters.interface module
      • swh.counters.journal_client module
      • swh.counters.kafka_client module
      • swh.counters.redis module
  • swh.datasets
    • Luigi workflows
    • Command-line interface
    • swh.datasets package
      • swh.datasets.luigi package
        • swh.datasets.luigi.aggregate_datasets module
        • swh.datasets.luigi.blobs_datasets module
        • swh.datasets.luigi.file_names module
        • swh.datasets.luigi.origin_contributors module
      • swh.datasets.cli module
      • swh.datasets.shell module
  • swh.deposit
    • Deposit API
      • User Manual
      • API Documentation
        • Service document
        • Create deposit
        • Update content
        • Update metadata
        • Retrieve status
        • Display content
      • Deposit metadata
      • Use cases
      • Register account
    • Deposit internals
      • Running swh-deposit locally
      • Production deployment
      • Authentication
      • Loading workflow
    • Specifications
      • Loading specification
      • Protocol reference
      • The metadata-only deposit
    • swh.deposit package
      • swh.deposit.api package
        • swh.deposit.api.private package
        • swh.deposit.api.collection module
        • swh.deposit.api.common module
        • swh.deposit.api.content module
        • swh.deposit.api.converters module
        • swh.deposit.api.edit module
        • swh.deposit.api.edit_media module
        • swh.deposit.api.service_document module
        • swh.deposit.api.state module
        • swh.deposit.api.sword_edit module
        • swh.deposit.api.urls module
        • swh.deposit.api.utils module
      • swh.deposit.cli package
        • swh.deposit.cli.admin module
        • swh.deposit.cli.client module
      • swh.deposit.fixtures package
      • swh.deposit.loader package
        • swh.deposit.loader.checker module
        • swh.deposit.loader.checks module
        • swh.deposit.loader.tasks module
      • swh.deposit.templates package
        • swh.deposit.templates.deposit package
      • swh.deposit.tests_migration package
      • swh.deposit.apps module
      • swh.deposit.auth module
      • swh.deposit.client module
      • swh.deposit.config module
      • swh.deposit.errors module
      • swh.deposit.exception module
      • swh.deposit.gunicorn_config module
      • swh.deposit.manage module
      • swh.deposit.models module
      • swh.deposit.parsers module
      • swh.deposit.urls module
      • swh.deposit.utils module
    • Command-line interface
  • swh.export
    • Software Heritage Graph Dataset
      • Dataset
      • Relational schema
      • Setup on Amazon Athena
      • Setup on Azure Databricks
    • Exporting a dataset
    • Exporting a subdataset
    • swh.export package
      • swh.export.exporters package
        • swh.export.exporters.edges module
        • swh.export.exporters.orc module
      • swh.export.test namespace
        • swh.export.test.test_edges module
        • swh.export.test.test_journal_processor module
        • swh.export.test.test_orc module
        • swh.export.test.test_utils module
      • swh.export.athena module
      • swh.export.cli module
      • swh.export.exporter module
      • swh.export.fullnames module
      • swh.export.journalprocessor module
      • swh.export.luigi module
      • swh.export.relational module
      • swh.export.utils module
  • swh.fuse
    • Command-line interface
    • Configuration
    • Design notes
    • Tutorial
    • swh.fuse package
      • swh.fuse.fs namespace
        • swh.fuse.fs.artifact module
        • swh.fuse.fs.entry module
        • swh.fuse.fs.mountpoint module
      • swh.fuse.cache module
      • swh.fuse.cli module
      • swh.fuse.fuse module
  • swh.graph
    • Quickstart
    • Graph Querying HTTP API
    • Using the gRPC API
    • Rust API
    • Memory & Performance tuning
    • Graph compression
    • Command-line interface
    • Docker environment
    • git2graph
    • Example dataset
    • Provenance index
    • swh.graph package
      • swh.graph.example_dataset package
        • swh.graph.example_dataset.generate_dataset module
      • swh.graph.grpc namespace
        • swh.graph.grpc.swhgraph_pb2 module
        • swh.graph.grpc.swhgraph_pb2_grpc module
      • swh.graph.luigi package
        • swh.graph.luigi.compressed_graph module
        • swh.graph.luigi.subdataset module
        • swh.graph.luigi.topology module
        • swh.graph.luigi.utils module
      • swh.graph.cli module
      • swh.graph.client module
      • swh.graph.config module
      • swh.graph.download module
      • swh.graph.e2e_tests module
      • swh.graph.find_context module
      • swh.graph.grpc_server module
      • swh.graph.http_client module
      • swh.graph.http_naive_client module
      • swh.graph.http_rpc_server module
      • swh.graph.naive_client module
      • swh.graph.pytest_plugin module
      • swh.graph.shell module
      • swh.graph.webgraph module
  • swh.graphql
    • swh.graphql package
      • swh.graphql.backends package
        • swh.graphql.backends.archive module
        • swh.graphql.backends.search module
      • swh.graphql.client package
        • swh.graphql.client.view module
      • swh.graphql.errors package
        • swh.graphql.errors.errors module
        • swh.graphql.errors.handlers module
      • swh.graphql.middlewares package
        • swh.graphql.middlewares.logger module
      • swh.graphql.resolvers package
        • swh.graphql.resolvers.base_connection module
        • swh.graphql.resolvers.base_node module
        • swh.graphql.resolvers.content module
        • swh.graphql.resolvers.content_data module
        • swh.graphql.resolvers.directory module
        • swh.graphql.resolvers.directory_entry module
        • swh.graphql.resolvers.origin module
        • swh.graphql.resolvers.person module
        • swh.graphql.resolvers.release module
        • swh.graphql.resolvers.resolver_factory module
        • swh.graphql.resolvers.resolvers module
        • swh.graphql.resolvers.revision module
        • swh.graphql.resolvers.scalars module
        • swh.graphql.resolvers.search module
        • swh.graphql.resolvers.snapshot module
        • swh.graphql.resolvers.snapshot_branch module
        • swh.graphql.resolvers.swhid module
        • swh.graphql.resolvers.target module
        • swh.graphql.resolvers.visit module
        • swh.graphql.resolvers.visit_status module
      • swh.graphql.utils package
        • swh.graphql.utils.utils module
      • swh.graphql.app module
      • swh.graphql.gunicorn_config module
      • swh.graphql.server module
  • swh.indexer
    • Software Heritage - Indexer
    • Metadata workflow
    • SwhPkg Vocabulary
    • swh.indexer package
      • swh.indexer.metadata_dictionary package
        • swh.indexer.metadata_dictionary.base module
        • swh.indexer.metadata_dictionary.cff module
        • swh.indexer.metadata_dictionary.codemeta module
        • swh.indexer.metadata_dictionary.composer module
        • swh.indexer.metadata_dictionary.dart module
        • swh.indexer.metadata_dictionary.gitea module
        • swh.indexer.metadata_dictionary.github module
        • swh.indexer.metadata_dictionary.maven module
        • swh.indexer.metadata_dictionary.npm module
        • swh.indexer.metadata_dictionary.nuget module
        • swh.indexer.metadata_dictionary.python module
        • swh.indexer.metadata_dictionary.ruby module
        • swh.indexer.metadata_dictionary.utils module
      • swh.indexer.storage package
        • swh.indexer.storage.api package
        • swh.indexer.storage.converters module
        • swh.indexer.storage.db module
        • swh.indexer.storage.exc module
        • swh.indexer.storage.in_memory module
        • swh.indexer.storage.interface module
        • swh.indexer.storage.metrics module
        • swh.indexer.storage.model module
        • swh.indexer.storage.writer module
      • swh.indexer.bibtex module
      • swh.indexer.cli module
      • swh.indexer.codemeta module
      • swh.indexer.fossology_license module
      • swh.indexer.indexer module
      • swh.indexer.metadata module
      • swh.indexer.metadata_detector module
      • swh.indexer.mimetype module
      • swh.indexer.namespaces module
      • swh.indexer.origin_head module
      • swh.indexer.rehash module
    • Command-line interface
  • swh.journal
    • Software Heritage Journal clients
    • swh.journal package
      • swh.journal.writer package
        • swh.journal.writer.inmemory module
        • swh.journal.writer.interface module
        • swh.journal.writer.kafka module
        • swh.journal.writer.stream module
      • swh.journal.client module
      • swh.journal.pytest_plugin module
      • swh.journal.serializers module
  • swh.lister
    • Tutorial: list the content of your favorite forge in just a few steps
    • Tutorial: run a lister within docker-dev in just a few steps
    • Save a forge
    • swh.lister package
      • swh.lister.arch package
        • swh.lister.arch.lister module
        • swh.lister.arch.tasks module
      • swh.lister.aur package
        • swh.lister.aur.lister module
        • swh.lister.aur.tasks module
      • swh.lister.bioconductor package
        • swh.lister.bioconductor.lister module
        • swh.lister.bioconductor.tasks module
      • swh.lister.bitbucket package
        • swh.lister.bitbucket.lister module
        • swh.lister.bitbucket.tasks module
      • swh.lister.bower package
        • swh.lister.bower.lister module
        • swh.lister.bower.tasks module
      • swh.lister.cgit package
        • swh.lister.cgit.lister module
        • swh.lister.cgit.tasks module
      • swh.lister.conda package
        • swh.lister.conda.lister module
        • swh.lister.conda.tasks module
      • swh.lister.cpan package
        • swh.lister.cpan.lister module
        • swh.lister.cpan.tasks module
      • swh.lister.cran package
        • swh.lister.cran.lister module
        • swh.lister.cran.tasks module
      • swh.lister.crates package
        • swh.lister.crates.lister module
        • swh.lister.crates.tasks module
      • swh.lister.debian package
        • swh.lister.debian.lister module
        • swh.lister.debian.tasks module
      • swh.lister.dlang package
        • swh.lister.dlang.lister module
        • swh.lister.dlang.tasks module
      • swh.lister.elm package
        • swh.lister.elm.lister module
        • swh.lister.elm.tasks module
      • swh.lister.gitea package
        • swh.lister.gitea.lister module
        • swh.lister.gitea.tasks module
      • swh.lister.github package
        • swh.lister.github.lister module
        • swh.lister.github.tasks module
      • swh.lister.gitiles package
        • swh.lister.gitiles.lister module
        • swh.lister.gitiles.tasks module
      • swh.lister.gitlab package
        • swh.lister.gitlab.lister module
        • swh.lister.gitlab.tasks module
      • swh.lister.gitweb package
        • swh.lister.gitweb.lister module
        • swh.lister.gitweb.tasks module
      • swh.lister.gnu package
        • swh.lister.gnu.lister module
        • swh.lister.gnu.tasks module
        • swh.lister.gnu.tree module
      • swh.lister.gogs package
        • swh.lister.gogs.lister module
        • swh.lister.gogs.tasks module
      • swh.lister.golang package
        • swh.lister.golang.lister module
        • swh.lister.golang.tasks module
      • swh.lister.hackage package
        • swh.lister.hackage.lister module
        • swh.lister.hackage.tasks module
      • swh.lister.hex package
        • swh.lister.hex.lister module
        • swh.lister.hex.tasks module
      • swh.lister.julia package
        • swh.lister.julia.lister module
        • swh.lister.julia.tasks module
      • swh.lister.launchpad package
        • swh.lister.launchpad.lister module
        • swh.lister.launchpad.tasks module
      • swh.lister.maven package
        • swh.lister.maven.lister module
        • swh.lister.maven.tasks module
      • swh.lister.nixguix package
        • swh.lister.nixguix.lister module
        • swh.lister.nixguix.tasks module
      • swh.lister.npm package
        • swh.lister.npm.lister module
        • swh.lister.npm.tasks module
      • swh.lister.nuget package
        • swh.lister.nuget.lister module
        • swh.lister.nuget.tasks module
      • swh.lister.opam package
        • swh.lister.opam.lister module
        • swh.lister.opam.tasks module
      • swh.lister.packagist package
        • swh.lister.packagist.lister module
        • swh.lister.packagist.tasks module
      • swh.lister.pagure package
        • swh.lister.pagure.lister module
        • swh.lister.pagure.tasks module
      • swh.lister.phabricator package
        • swh.lister.phabricator.lister module
        • swh.lister.phabricator.tasks module
      • swh.lister.pubdev package
        • swh.lister.pubdev.lister module
        • swh.lister.pubdev.tasks module
      • swh.lister.puppet package
        • swh.lister.puppet.lister module
        • swh.lister.puppet.tasks module
      • swh.lister.pypi package
        • swh.lister.pypi.lister module
        • swh.lister.pypi.tasks module
      • swh.lister.rpm package
        • swh.lister.rpm.lister module
        • swh.lister.rpm.tasks module
      • swh.lister.rubygems package
        • swh.lister.rubygems.lister module
        • swh.lister.rubygems.tasks module
      • swh.lister.save_bulk package
        • swh.lister.save_bulk.lister module
        • swh.lister.save_bulk.tasks module
      • swh.lister.sourceforge package
        • swh.lister.sourceforge.lister module
        • swh.lister.sourceforge.tasks module
      • swh.lister.stagit package
        • swh.lister.stagit.lister module
        • swh.lister.stagit.tasks module
      • swh.lister.tuleap package
        • swh.lister.tuleap.lister module
        • swh.lister.tuleap.tasks module
      • swh.lister.cli module
      • swh.lister.pattern module
      • swh.lister.utils module
    • Command-line interface
  • swh.loader
    • swh.loader.core
      • VCS Loader Overview
      • Package Loader Tutorial
      • Package loader specifications
      • swh.loader.core package
        • swh.loader.core.converters module
        • swh.loader.core.loader module
        • swh.loader.core.metadata_fetchers module
        • swh.loader.core.nar module
        • swh.loader.core.tasks module
        • swh.loader.core.utils module
      • Command-line interface
    • swh.loader.bzr
      • Software Heritage - How Bazaar/Breezy works
      • swh.loader.bzr package
        • swh.loader.bzr.loader module
        • swh.loader.bzr.tasks module
    • Software Heritage - CVS loader
    • swh.loader.git
      • swh.loader.git package
        • swh.loader.git.base module
        • swh.loader.git.converters module
        • swh.loader.git.directory module
        • swh.loader.git.dumb module
        • swh.loader.git.from_disk module
        • swh.loader.git.loader module
        • swh.loader.git.tasks module
        • swh.loader.git.utils module
    • swh.loader.mercurial
      • swh.loader.mercurial package
        • swh.loader.mercurial.archive_extract module
        • swh.loader.mercurial.converters module
        • swh.loader.mercurial.directory module
        • swh.loader.mercurial.hgutil module
        • swh.loader.mercurial.identify module
        • swh.loader.mercurial.loader module
        • swh.loader.mercurial.tasks module
        • swh.loader.mercurial.utils module
    • swh.loader.metadata
      • swh.loader.metadata package
        • swh.loader.metadata.base module
        • swh.loader.metadata.cli module
        • swh.loader.metadata.gitea module
        • swh.loader.metadata.github module
        • swh.loader.metadata.journal_client module
    • swh.loader.svn
      • swh.loader.svn package
        • swh.loader.svn.converters module
        • swh.loader.svn.directory module
        • swh.loader.svn.exception module
        • swh.loader.svn.fast_crawler module
        • swh.loader.svn.loader module
        • swh.loader.svn.replay module
        • swh.loader.svn.svn_repo module
        • swh.loader.svn.svn_retry module
        • swh.loader.svn.tasks module
        • swh.loader.svn.utils module
  • swh.model
    • Data model
    • SoftWare Heritage persistent IDentifiers (SWHIDs)
    • Command-line interface
    • swh.model package
      • swh.model.fields package
        • swh.model.fields.compound module
        • swh.model.fields.hashes module
        • swh.model.fields.simple module
      • swh.model.cli module
      • swh.model.collections module
      • swh.model.discovery module
      • swh.model.exceptions module
      • swh.model.from_disk module
      • swh.model.git_objects module
      • swh.model.hashutil module
      • swh.model.hypothesis_strategies module
      • swh.model.merkle module
      • swh.model.model module
      • swh.model.swhids module
      • swh.model.toposort module
      • swh.model.validators module
  • swh.objstorage
    • Command-line interface
    • Winery backend
    • swh.objstorage namespace
      • swh.objstorage.api namespace
        • swh.objstorage.api.client module
        • swh.objstorage.api.server module
      • swh.objstorage.backends package
        • swh.objstorage.backends.seaweedfs package
        • swh.objstorage.backends.winery package
        • swh.objstorage.backends.azure module
        • swh.objstorage.backends.http module
        • swh.objstorage.backends.in_memory module
        • swh.objstorage.backends.libcloud module
        • swh.objstorage.backends.noop module
        • swh.objstorage.backends.pathslicing module
      • swh.objstorage.proxies namespace
        • swh.objstorage.proxies.readonly module
      • swh.objstorage.replayer package
        • swh.objstorage.replayer.cli module
        • swh.objstorage.replayer.replay module
      • swh.objstorage.cli module
      • swh.objstorage.constants module
      • swh.objstorage.exc module
      • swh.objstorage.factory module
      • swh.objstorage.interface module
      • swh.objstorage.multiplexer module
      • swh.objstorage.objstorage module
      • swh.objstorage.pytest_plugin module
      • swh.objstorage.utils module
  • swh.objstorage.replayer
    • Command-line interface
    • swh.objstorage.replayer package
      • swh.objstorage.replayer.cli module
      • swh.objstorage.replayer.replay module
  • Software Heritage - Provenance
  • swh.scanner
    • Command-line interface
    • swh.scanner package
      • swh.scanner.dashboard package
        • swh.scanner.dashboard.dashboard module
      • swh.scanner.cli module
      • swh.scanner.config module
      • swh.scanner.data module
      • swh.scanner.exceptions module
      • swh.scanner.output module
      • swh.scanner.policy module
      • swh.scanner.scanner module
      • swh.scanner.setup_wizard module
  • swh.scheduler
    • Command-line interface
    • Software Heritage Scheduler Simulator
    • swh.scheduler package
      • swh.scheduler.api package
        • swh.scheduler.api.client module
        • swh.scheduler.api.serializers module
        • swh.scheduler.api.server module
      • swh.scheduler.celery_backend package
        • swh.scheduler.celery_backend.config module
        • swh.scheduler.celery_backend.first_visits module
        • swh.scheduler.celery_backend.pika_listener module
        • swh.scheduler.celery_backend.recurrent_visits module
        • swh.scheduler.celery_backend.runner module
        • swh.scheduler.celery_backend.utils module
      • swh.scheduler.cli package
        • swh.scheduler.cli.add_forge_now module
        • swh.scheduler.cli.admin module
        • swh.scheduler.cli.celery_monitor module
        • swh.scheduler.cli.config module
        • swh.scheduler.cli.journal module
        • swh.scheduler.cli.origin module
        • swh.scheduler.cli.origin_utils module
        • swh.scheduler.cli.simulator module
        • swh.scheduler.cli.task module
        • swh.scheduler.cli.task_type module
        • swh.scheduler.cli.utils module
      • swh.scheduler.simulator package
        • swh.scheduler.simulator.common module
        • swh.scheduler.simulator.origin_scheduler module
        • swh.scheduler.simulator.origins module
        • swh.scheduler.simulator.task_scheduler module
      • swh.scheduler.sql package
        • swh.scheduler.sql.upgrades package
      • swh.scheduler.backend module
      • swh.scheduler.cli_utils module
      • swh.scheduler.exc module
      • swh.scheduler.in_memory module
      • swh.scheduler.interface module
      • swh.scheduler.journal_client module
      • swh.scheduler.model module
      • swh.scheduler.pytest_plugin module
      • swh.scheduler.task module
      • swh.scheduler.utils module
  • swh.scrubber
    • Command-line interface
    • swh.scrubber package
      • swh.scrubber.base_checker module
      • swh.scrubber.cli module
      • swh.scrubber.db module
      • swh.scrubber.fixer module
      • swh.scrubber.journal_checker module
      • swh.scrubber.objstorage_checker module
      • swh.scrubber.origin_locator module
      • swh.scrubber.storage_checker module
      • swh.scrubber.utils module
  • swh.search
    • Command-line interface
    • Search Query Language
    • swh.search package
      • swh.search.api package
        • swh.search.api.client module
        • swh.search.api.server module
      • swh.search.cli module
      • swh.search.elasticsearch module
      • swh.search.exc module
      • swh.search.in_memory module
      • swh.search.interface module
      • swh.search.journal_client module
      • swh.search.metrics module
      • swh.search.translator module
      • swh.search.utils module
  • swh.shard
    • Read Shard format
    • Benchmarks
    • swh.shard package
      • swh.shard.cli module
  • swh.storage
    • Extrinsic metadata specification
    • Object Masking
    • swh.storage package
      • swh.storage.algos package
        • swh.storage.algos.diff module
        • swh.storage.algos.dir_iterators module
        • swh.storage.algos.directory module
        • swh.storage.algos.discovery module
        • swh.storage.algos.origin module
        • swh.storage.algos.revisions_walker module
        • swh.storage.algos.snapshot module
      • swh.storage.api package
        • swh.storage.api.client module
        • swh.storage.api.serializers module
        • swh.storage.api.server module
      • swh.storage.cassandra package
        • swh.storage.cassandra.common module
        • swh.storage.cassandra.converters module
        • swh.storage.cassandra.cql module
        • swh.storage.cassandra.diagram module
        • swh.storage.cassandra.migrations module
        • swh.storage.cassandra.model module
        • swh.storage.cassandra.schema module
        • swh.storage.cassandra.storage module
      • swh.storage.postgresql package
        • swh.storage.postgresql.converters module
        • swh.storage.postgresql.db module
        • swh.storage.postgresql.storage module
      • swh.storage.proxies package
        • swh.storage.proxies.blocking package
        • swh.storage.proxies.masking package
        • swh.storage.proxies.buffer module
        • swh.storage.proxies.filter module
        • swh.storage.proxies.record_references module
        • swh.storage.proxies.retry module
        • swh.storage.proxies.tenacious module
        • swh.storage.proxies.validate module
      • swh.storage.backfill module
      • swh.storage.cli module
      • swh.storage.common module
      • swh.storage.exc module
      • swh.storage.fixer module
      • swh.storage.in_memory module
      • swh.storage.interface module
      • swh.storage.metrics module
      • swh.storage.migrate_extrinsic_metadata module
      • swh.storage.objstorage module
      • swh.storage.pytest_plugin module
      • swh.storage.replay module
      • swh.storage.utils module
      • swh.storage.writer module
    • Database schema
    • Cassandra migrations
    • Command-line interface
  • swh.vault
    • Getting started
    • Vault API Reference
    • swh.vault package
      • swh.vault.api package
        • swh.vault.api.client module
        • swh.vault.api.serializers module
        • swh.vault.api.server module
      • swh.vault.cookers package
        • swh.vault.cookers.base module
        • swh.vault.cookers.directory module
        • swh.vault.cookers.git_bare module
        • swh.vault.cookers.revision_flat module
        • swh.vault.cookers.revision_gitfast module
        • swh.vault.cookers.utils module
      • swh.vault.backend module
      • swh.vault.cache module
      • swh.vault.cli module
      • swh.vault.cooking_tasks module
      • swh.vault.exc module
      • swh.vault.in_memory_backend module
      • swh.vault.interface module
      • swh.vault.to_disk module
    • Command-line interface
  • swh.web
    • Developers Information
    • swh-web API URLs
    • URI scheme for swh-web Browse application
    • URI scheme for SoftWare Hash IDentifiers (SWHIDs)
    • Miscellaneous URLs
    • swh.web package
      • swh.web.add_forge_now package
        • swh.web.add_forge_now.admin_views module
        • swh.web.add_forge_now.api_views module
        • swh.web.add_forge_now.apps module
        • swh.web.add_forge_now.models module
        • swh.web.add_forge_now.signal_receivers module
        • swh.web.add_forge_now.urls module
        • swh.web.add_forge_now.utils module
        • swh.web.add_forge_now.views module
      • swh.web.admin package
        • swh.web.admin.apps module
        • swh.web.admin.urls module
      • swh.web.alter package
        • swh.web.alter.templatetags package
        • swh.web.alter.apps module
        • swh.web.alter.emails module
        • swh.web.alter.forms module
        • swh.web.alter.models module
        • swh.web.alter.urls module
        • swh.web.alter.utils module
        • swh.web.alter.views module
      • swh.web.api package
        • swh.web.api.views package
        • swh.web.api.apidoc module
        • swh.web.api.apiresponse module
        • swh.web.api.apiurls module
        • swh.web.api.parsers module
        • swh.web.api.renderers module
        • swh.web.api.serializers module
        • swh.web.api.throttling module
        • swh.web.api.urls module
        • swh.web.api.utils module
      • swh.web.archive_coverage package
        • swh.web.archive_coverage.urls module
        • swh.web.archive_coverage.views module
      • swh.web.auth package
        • swh.web.auth.apps module
        • swh.web.auth.models module
        • swh.web.auth.urls module
        • swh.web.auth.utils module
        • swh.web.auth.views module
      • swh.web.badges package
        • swh.web.badges.urls module
      • swh.web.banners package
        • swh.web.banners.urls module
        • swh.web.banners.views module
      • swh.web.browse package
        • swh.web.browse.views package
        • swh.web.browse.browseurls module
        • swh.web.browse.identifiers module
        • swh.web.browse.snapshot_context module
        • swh.web.browse.urls module
        • swh.web.browse.utils module
      • swh.web.client package
        • swh.web.client.cli module
        • swh.web.client.client module
      • swh.web.deposit package
        • swh.web.deposit.urls module
      • swh.web.inbound_email package
        • swh.web.inbound_email.management package
        • swh.web.inbound_email.apps module
        • swh.web.inbound_email.handle_message module
        • swh.web.inbound_email.signals module
        • swh.web.inbound_email.urls module
        • swh.web.inbound_email.utils module
        • swh.web.inbound_email.views module
      • swh.web.jslicenses package
        • swh.web.jslicenses.urls module
      • swh.web.mailmap package
        • swh.web.mailmap.management package
        • swh.web.mailmap.apps module
        • swh.web.mailmap.models module
        • swh.web.mailmap.urls module
        • swh.web.mailmap.views module
      • swh.web.metrics package
        • swh.web.metrics.prometheus module
        • swh.web.metrics.urls module
        • swh.web.metrics.views module
      • swh.web.provenance package
        • swh.web.provenance.api_views module
        • swh.web.provenance.apps module
        • swh.web.provenance.urls module
      • swh.web.save_bulk package
        • swh.web.save_bulk.api_views module
        • swh.web.save_bulk.apps module
        • swh.web.save_bulk.models module
        • swh.web.save_bulk.urls module
        • swh.web.save_bulk.views module
      • swh.web.save_code_now package
        • swh.web.save_code_now.management package
        • swh.web.save_code_now.admin_views module
        • swh.web.save_code_now.api_views module
        • swh.web.save_code_now.apps module
        • swh.web.save_code_now.models module
        • swh.web.save_code_now.origin_save module
        • swh.web.save_code_now.origin_visit_webhook module
        • swh.web.save_code_now.urls module
        • swh.web.save_code_now.views module
      • swh.web.save_origin_webhooks package
        • swh.web.save_origin_webhooks.bitbucket module
        • swh.web.save_origin_webhooks.generic_receiver module
        • swh.web.save_origin_webhooks.gitea module
        • swh.web.save_origin_webhooks.github module
        • swh.web.save_origin_webhooks.gitlab module
        • swh.web.save_origin_webhooks.sourceforge module
        • swh.web.save_origin_webhooks.urls module
      • swh.web.utils package
        • swh.web.utils.management package
        • swh.web.utils.archive module
        • swh.web.utils.citation module
        • swh.web.utils.converters module
        • swh.web.utils.exc module
        • swh.web.utils.highlightjs module
        • swh.web.utils.identifiers module
        • swh.web.utils.middlewares module
        • swh.web.utils.origin_visits module
        • swh.web.utils.query module
        • swh.web.utils.swh_templatetags module
        • swh.web.utils.typing module
        • swh.web.utils.url_path_converters module
        • swh.web.utils.urlsindex module
      • swh.web.vault package
        • swh.web.vault.api_views module
        • swh.web.vault.urls module
      • swh.web.webapp package
        • swh.web.webapp.urls module
      • swh.web.config module
      • swh.web.gunicorn_config module
      • swh.web.manage module
      • swh.web.urls module
  • swh.web.client
  • swh.webhooks
    • swh.webhooks package
      • swh.webhooks.cli module
      • swh.webhooks.interface module
      • swh.webhooks.journal_client module
      • swh.webhooks.svix_retry module
      • swh.webhooks.utils module
  • Development
  • API reference
  • Software Heritage Datasets

Software Heritage Datasets#

This page lists the different public datasets and periodic data dumps of the archive produced and released by Software Heritage.

The Software Heritage Graph Dataset

the entire graph of Software Heritage in a fully-deduplicated Merkle DAG representation.

Contents:

  • Software Heritage Graph Dataset
    • Dataset
    • Relational schema
    • Setup on Amazon Athena
    • Setup on Azure Databricks
  • Exporting a dataset
  • Exporting a subdataset
  • swh.export package
    • swh.export.exporters package
    • swh.export.test namespace
    • swh.export.athena module
    • swh.export.cli module
    • swh.export.exporter module
    • swh.export.fullnames module
    • swh.export.journalprocessor module
    • swh.export.luigi module
    • swh.export.relational module
    • swh.export.utils module

previous

Command-line interface

next

Software Heritage Graph Dataset

Edit

This Page

  • Show Source

© Copyright 2015-2024 The Software Heritage developers.

Created using Sphinx 7.4.7.

Built with the PyData Sphinx Theme 0.16.1.